[論文レビュー] Structured prediction models for RNN based sequence labeling in clinical text

Abhyuday Jagannatha, Hong Yu|arXiv (Cornell University)|Aug 1, 2016

Topic Modeling参考文献 20被引用数 27

ひとこと要約

本稿では、臨床文書における医療用語の正確なフレーズ検出を向上させるために、再帰的ニューラルネットワーク（LSTM）と条件付きランダムフィールド（CRF）を統合した構造化予測モデルの拡張を提案する。ニューラルネットワークを用いてペairワイズ潜在変数をモデル化し、長距離ラベル依存性を扱う近似スティッピングチェーンCRFを導入することで、特に副作用薬物イベントや適応症など希少かつ複雑なエンティティに対して、標準的なBi-LSTM-CRFより統計的に有意なFスコアの向上を達成した。

ABSTRACT

Sequence labeling is a widely used method for named entity recognition and information extraction from unstructured natural language data. In clinical domain one major application of sequence labeling involves extraction of medical entities such as medication, indication, and side-effects from Electronic Health Record narratives. Sequence labeling in this domain, presents its own set of challenges and objectives. In this work we experimented with various CRF based structured learning models with Recurrent Neural Networks. We extend the previously studied LSTM-CRF models with explicit modeling of pairwise potentials. We also propose an approximate version of skip-chain CRF inference with RNN potentials. We use these methodologies for structured prediction in order to improve the exact phrase detection of various medical entities.

研究の動機と目的

• 臨床ノートにおける希少で複雑な医療用語の正確なフレーズ検出の課題に対処すること。
• ローカルな文脈を超えたラベル依存性を明示的にモデル化することで、電子的健康記録におけるシーケンスラベリング性能を向上させること。
• ニューラルネットワークベースのペアワイズ潜在変数と近似スティッピングチェーンCRF推論の影響が、臨床NLPにおける構造化予測に与える影響を評価すること。
• RNNを用いた構造化学習が、標準的なBi-LSTMおよびBi-LSTM-CRFモデルを上回って医療関連エンティティを検出できるかどうかを検証すること。
• 副作用薬物イベントや適応症など、類似エンティティと区別が難しい希少ラベルや複雑なラベルにおけるモデルの挙動を分析すること。

提案手法

• 標準的な学習済み遷移行列の代わりに、深層ニューラルネットワークを用いてラベル遷移をモデル化する、ニューラルネットワークベースのペアワイズ潜在変数を備えたBi-LSTM-CRFモデルを提案する。
• 遠く離れたラベル間の長距離依存性（例：「AはBの二次的要因である」構造など）を捉えるために、スティッピングチェーンCRFの近似推論手法を導入する。
• 双方向LSTMを用いて文脈に適した単語表現を生成し、それをCRF層に供給して構造化予測を実行する。
• CRFに対して正確および近似推論戦略を採用し、後者により非隣接ラベル関係のモデル化を可能にする。
• トレーニング中にCRFデコードを組み込んだ交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練し、ラベル系列の共同予測を最適化する。
• 5分割交差検証からのFスコアに対して、ペアワイズt検定を実施し、性能差の統計的有意性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを用いてペアワイズ潜在変数をモデル化することで、臨床文書における医療用語の正確なフレーズ検出が向上するか？
• RQ2 近似スティッピングチェーンCRF推論を組み込むことで、臨床シーケンスにおける長距離ラベル依存性の性能が向上するか？
• RQ3 提案されたモデルは、標準的なBi-LSTMおよびBi-LSTM-CRFと比較して、希少で複雑な医療用語におけるFスコア、適合率、再現率の観点で優れているか？
• RQ4 正確なCRFモデルは、再現率が低いにもかかわらず、適合率が高い理由（例：適応症や重症度など、曖昧なラベル）は何か？
• RQ5 ニューラルネットワークベースのペアワイズ潜在変数は、希少医療用語におけるデータ不足問題をどの程度軽減できるか？

主な発見

• ニューラルネットワークベースのペアワイズ潜在変数を用いるBi-LSTM-CRF-pairモデルは、ベースラインのBi-LSTMおよび標準的なBi-LSTM-CRFよりも統計的に有意なFスコアの向上を達成した（p < 0.01）。
• 近似スティッピングチェーンCRFモデルは、長距離ラベル依存性のより良いモデル化により、FスコアでベースラインのBi-LSTMおよび標準的なBi-LSTM-CRFを上回った。特に再現率が向上した。
• 希少ラベル（例：副作用薬物イベント）において、Bi-LSTM-CRF-pairモデルは標準的なBi-LSTM-CRFよりも顕著に高い再現率を示し、希少エンティティの検出性能が向上した。
• 「適応症」を「その他SSD」と誤分類する割合を、40%から20%に削減した。これは、曖昧なラベルの区別能力が向上したことを示している。
• 標準的なBi-LSTM-CRFは、ベースラインのBi-LSTMと比較してFスコアに統計的有意差を示さなかった（p > 0.05）。これは、固定遷移行列の限界を示している。
• 近似スティッピングチェーンCRFは、近似推論による適合率の低下はあったが、複雑なラベルにおいては、他のすべてのモデルと同等またはそれ以上の再現率を達成した。