[論文レビュー] Bidirectional LSTM-CRF for Clinical Concept Extraction

Raghavendra Chalapathy, Ehsan Zare Borzeshi+1 more|arXiv (Cornell University)|Oct 19, 2016

Topic Modeling参考文献 22被引用数 46

ひとこと要約

この論文は、一般向けの単語埋め込み（GloVeおよびWord2Vec）を用いて、手動による特徴工学を不要にする臨床概念抽出のための双方向LSTM-CRFモデルを提案する。このアプローチは、2010年i2b2/VAベンチマークで最先端の性能を達成し、マイクロ-F1スコア83.81%で2位となり、汎化性能と未知語に対するロバストネスが優れていることを示している。

ABSTRACT

Extraction of concepts present in patient clinical records is an essential step in clinical research. The 2010 i2b2/VA Workshop on Natural Language Processing Challenges for clinical records presented concept extraction (CE) task, with aim to identify concepts (such as treatments, tests, problems) and classify them into predefined categories. State-of-the-art CE approaches heavily rely on hand crafted features and domain specific resources which are hard to collect and tune. For this reason, this paper employs bidirectional LSTM with CRF decoding initialized with general purpose off-the-shelf word embeddings for CE. The experimental results achieved on 2010 i2b2/VA reference standard corpora using bidirectional LSTM CRF ranks closely with top ranked systems.

研究の動機と目的

• 構造化されていない患者記録における臨床的概念抽出の課題に、手作業によるドメイン特化の特徴工学に依存せずに対処すること。
• 事前学習済み単語埋め込みを用いたエンドツーエンドのディープラーニングが、従来の教師ありモデルと同等またはそれを上回る性能を示せるかどうかを評価すること。
• 汎用的埋め込みを用いた双方向LSTM-CRFが、2010年i2b2/VA臨床的概念抽出タスクで競争力のある性能を達成できることを示すこと。
• 一般ドメインの埋め込みを臨床NLPタスクに適用する可能性を検討し、ドメイン特化の事前学習や専門家によるアノテーションへの依存を減らすこと。

提案手法

• 臨床テキストシーケンスの文脈的表現をエンコードするために、双方向LSTMネットワークを採用する。
• ラベルの依存関係をモデル化し、シーケンスラベリングを実行するために、LSTMの上流に条件付きランダムフィールド（CRF）層を配置する。
• ドメイン特化のものではなく、一般ドメインコーパス（例：Wikipedia）からの事前学習済みGloVeおよびWord2Vec埋め込みを用いて単語埋め込みを初期化する。
• 検証性能に基づく早期停止を用いて、バックプロパゲーションによるエンドツーエンドの学習を実行する。
• 未知語（例：省略語、アルファヌメリック文字列）に対しては、学習中にランダムに初期化された埋め込みを用いる。
• 検証セット上でグリッドサーチを用いて、ハイパーパrameter（隠れユニット数、埋め込み次元、学習率、ドロップアウト率）を最適化する。

実験結果

リサーチクエスチョン

• RQ1 一般向けの単語埋め込みを用いた双方向LSTM-CRFモデルは、手動による特徴工学を一切行わずに、臨床的概念抽出で競争力のある性能を達成できるか？
• RQ2 広範な特徴工学とドメイン特化リソースに依存する最先端のシステムと比較して、ディープラーニングアプローチの性能はどの程度か？
• RQ3 事前学習済み汎用埋め込みが、特に希少語や省略語に対して、どの程度臨床テキストに一般化できるか？
• RQ4 モデルのエンドツーエンド学習能力が、未知語や非公式な臨床表記に対して、どの程度ロバストネスを向上させるか？

主な発見

• 双方向LSTM-CRFモデルは、2010年i2b2/VAテストセットでマイクロ-F1スコア83.81%を達成し、チャレンジ全体で2位となった。
• ルールベースおよび語彙依存のシステムを上回り、ドメイン特化の特徴を一切使用していないにもかかわらず、強力な汎化性能を示した。
• 約20%のトークンが未知語であった場合でも高い性能を達成しており、ランダムに初期化された埋め込みでも意味的な表現が学習された。
• 複雑な非教師あり特徴学習に依存する上位の半教師ありマルコフHMMシステムと同等の性能を発揮した。
• 広範な特徴工学の必要性が排除され、開発作業が著しく削減された一方で、高い精度を維持した。
• 事前学習済み一般ドメインコーパスからの埋め込みが、特に深層シーケンスモデリングと組み合わせることで、臨床NLPタスクの初期化として効果的であることが示唆された。