[論文レビュー] Few-shot Learning for Named Entity Recognition in Medical Text

Maximilian Hofer, Andrey Kormilitzin+2 more|arXiv (Cornell University)|Nov 13, 2018

Topic Modeling参考文献 17被引用数 55

ひとこと要約

この論文は、医療テキストのFew-shot NERに対して、注釈付き例がわずか10件のみで、F1を69.3%から78.87%へ向上させる5つの改善を評価します。

ABSTRACT

Deep neural network models have recently achieved state-of-the-art performance gains in a variety of natural language processing (NLP) tasks (Young, Hazarika, Poria, & Cambria, 2017). However, these gains rely on the availability of large amounts of annotated examples, without which state-of-the-art performance is rarely achievable. This is especially inconvenient for the many NLP fields where annotated examples are scarce, such as medical text. To improve NLP models in this situation, we evaluate five improvements on named entity recognition (NER) tasks when only ten annotated examples are available: (1) layer-wise initialization with pre-trained weights, (2) hyperparameter tuning, (3) combining pre-training data, (4) custom word embeddings, and (5) optimizing out-of-vocabulary (OOV) words. Experimental results show that the F1 score of 69.3% achievable by state-of-the-art models can be improved to 78.87%.

研究の動機と目的

• ラベル付きデータが乏しい医療テキストにおける注釈削減型NERを動機づける。
• 少数ショット条件（10の例）でNER性能を向上させる5つの戦略を評価する。
• これらの戦略が標準的なNER指標に与える影響を定量化する。
• 限られた注釈で医療NERシステムを構築するための実践的ガイダンスを提供する。

提案手法

• 事前学習済みウェイトを用いたレイヤー別初期化で知識を転移する。
• 少数ショット条件でモデル性能を最適化するためのハイパーパラメータ調整。
• 複数ソースからの事前学習データを組み合わせて表現を豊かにする。
• 医療語彙に適したカスタム単語埋め込みを設計または採用する。
• 語彙外語（OOV）語の取り扱いを最適化して疎性を低減する。

実験結果

リサーチクエスチョン

• RQ1 わずか10のラベル付き例しかない医療テキストで、Few-shot学習はNER性能をどう改善できるか？
• RQ2 レイヤー別事前学習、ハイパーパラメータ調整、データ混合、カスタム埋め込み、OOV最適化がNER精度に与える影響は？
• RQ3 これらの戦略はこの領域で最先端のベースラインを超えるF1スコアを総合的に引き上げられるか？

主な発見

• 5つの提案された改善が、10-shot条件下でベースラインの69.3%から78.87%へと顕著なF1スコアの改善をもたらす。
• レイヤー別初期化、調整されたハイパーパラメータ、データ結合、カスタム埋め込み、OOV最適化のそれぞれが性能向上に寄与する。
• 組み合わせアプローチは、非常に限られた注釈付き医療データでも強力なNER性能を実現可能であることを示している。