[論文レビュー] SwellShark: A Generative Model for Biomedical Named Entity Recognition without Labeled Data

Jason Fries, Sen Wu+2 more|arXiv (Cornell University)|Apr 20, 2017

Topic Modeling参考文献 16被引用数 90

ひとこと要約

SwellShark は弱監視を用いて生物医学 NER タグライターを構築し、語彙表とヒューリスティックからの信号をデノイズする多項分布生成モデルを用いて、手作業でラベル付けされたデータなしで競争力のある結果を達成します。

ABSTRACT

We present SwellShark, a framework for building biomedical named entity recognition (NER) systems quickly and without hand-labeled data. Our approach views biomedical resources like lexicons as function primitives for autogenerating weak supervision. We then use a generative model to unify and denoise this supervision and construct large-scale, probabilistically labeled datasets for training high-accuracy NER taggers. In three biomedical NER tasks, SwellShark achieves competitive scores with state-of-the-art supervised benchmarks using no hand-labeled training data. In a drug name extraction task using patient medical records, one domain expert using SwellShark achieved within 5.1% of a crowdsourced annotation approach -- which originally utilized 20 teams over the course of several weeks -- in 24 hours.

研究の動機と目的

• 生物医学 NER における手作業でラベル付けされた訓練データの必要性を減らすまたは排除する
• 生物医学の語彙表、オントロジー、ヒューリスティックを弱監視ソースとして活用する
• 自動的に候補とラベリング関数を生成して大規模な確率的訓練データを組み立てる
• 弱監視を多項分布生成モデルで統合・デノイズしてエンティティ境界を推定する
• 複数の生物医学 NER タスクにおけるスケーラビリティと迅速なドメイン適応を示す

提案手法

• 文書中の潜在的なエンティティ言及を特定する自動候補生成。
• 語彙表とヒューリスティックをラベリング関数へ変換して自動生成された監督を作成。
• 監督リソースを複数のラベリング関数へ変換するラベリング関数生成器。
• 重複するスパンと排他的制約を考慮する多項分布生成モデルを用いてエンティティ境界を推定する。
• サンプリングベースのデータ構築により、識別モデル（CRF/LSTM-CRF）を訓練する確率的ラベルを作成する。
• 最大100k件の未ラベル文書での性能を示すスケーラビリティ実験。

実験結果

リサーチクエスチョン

• RQ1 自動候補生成戦略は、手動で調整された生成器と比較してどの程度の性能を発揮するか？
• RQ2 語彙リソースから導かれる自動生成監督は、生物医学 NER に対してどれほど有効か？
• RQ3 SwellShark は最小限の人間入力で大規模な未ラベルデータを用いて高精度のタグライターを訓練できるか？
• RQ4 疾病および化学物質(NER)タスクで、弱監視モデルは監督付きベースラインにどれだけ近づけるか？
• RQ5 SwellShark を用いて、制約時間（例: 24 時間）でドメイン特化型 NER タグライターをどれくらい迅速に構築できるか？

主な発見

• SwellShark は手作業でラベル付けされた訓練データを使用せず、最先端の監督付きベンチマークと競合するスコアを達成します。
• 最大100k件の未ラベル文書で、同じモデルを ≤1k 文書で訓練した場合と比較して精度が最大で6.7%（4.9 F1ポイント）向上します。
• 薬物名抽出タスクでは、単一のドメイン専門家が24時間でタグライターを構築し、複数の週にわたり20チームを使って行われたクラウドソーシングのアノテーション手法と5.1%以内のスコアを達成しました。
• 自動名詞句候補生成は手動調整されたパフォーマンスに近づくことができ、LSTM-CRF モデルは埋め込みの恩恵を受け、一般に大規模な未ラベルデータでより早く収束します。
• スパンセット依存性（相互排他的制約）をモデリングすると、いくつかの設定でF1が最大4.7%（3.4ポイント）向上します。