[論文レビュー] A hybrid deep learning approach for medical relation extraction

Veera Raghavendra Chikka, Kamalakar Karlapalem|arXiv (Cornell University)|Jun 26, 2018

Topic Modeling参考文献 10被引用数 10

ひとこと要約

本稿では、治療法と医学的問題の間の関係抽出を改善するために、双方向LSTMとルールベースモデリングを組み合わせたハイブリッドディープラーニング手法を提案する。単語レベルおよび文レベルの特徴量（品詞タグ、位置ベクトル、ポイントワイズ相互情報量）を活用することで、I2b2 2010ベンチマークでFスコア0.52を達成し、特に高精度なルールベース出力の統合によりTrIPおよびTrNAP関係で顕著な向上を実現した。

ABSTRACT

Mining relationships between treatment(s) and medical problem(s) is vital in the biomedical domain. This helps in various applications, such as decision support system, safety surveillance, and new treatment discovery. We propose a deep learning approach that utilizes both word level and sentence-level representations to extract the relationships between treatment and problem. While deep learning techniques demand a large amount of data for training, we make use of a rule-based system particularly for relationship classes with fewer samples. Our final relations are derived by jointly combining the results from deep learning and rule-based models. Our system achieved a promising performance on the relationship classes of I2b2 2010 relation extraction task.

研究の動機と目的

• 臨床文書における治療法と医学的問題の関係抽出という課題に取り組み、意思決定支援および薬物安全性監視に不可欠である。
• 低リソース関係タイプの深層学習性能を向上させるために、代表されにくい関係タイプに対しルールベースシステムを統合する。
• 従来のCNNやSVMと比較して、双方向LSTMが順序依存性を捉える能力に優れているかを検証する。
• 文レベル表現（例：POSシーケンス、相互情報量）が、単語レベル表現を超えて関係分類精度にどのように寄与するかを評価する。

提案手法

• 双方向LSTMネットワークは、単語レベル特徴（トークン、品詞タグ、フレーズタグ）および治療法・問題エンティティからの距離を示す位置ベクトルを含む入力文を処理する。
• 文レベル特徴には、上位100個の頻出シーケンスのPOSタグシーケンス、エンティティ共起のポイントワイズ相互情報量、cTAKESからのアサーションキーワードが含まれる。
• 単語埋め込みは初期化時にランダムに設定され、学習中に誤差逆伝播により微調整され、入力特徴量は結合されて密行列表現となる。
• 訓練データ数が少ない関係タイプ（例：TrIP、TrNAP）に対しては、文脈的パターンと意味的手がかり（例：'制御される'や'耐性がある'といった動詞）を用いたルールベースシステムを構築した。
• 最終予測は、高精度なルールベース出力とBi-LSTM予測を統合することで生成され、特に低リソース関係タイプの性能向上に寄与した。
• モデルは交差エントロピー損失を用いて学習され、Adamによる最適化が行われ、ハイパーパrameterは検証データ上で調整された。

実験結果

リサーチクエスチョン

• RQ1 双方向LSTMは、従来のSVMやCNNベースのモデルと比較して、医療関係抽出における順序依存性を捉える能力で優れているか？
• RQ2 POSシーケンスや相互情報量といった文レベル特徴は、単語レベル表現を超えて関係分類にどのように寄与するか？
• RQ3 深層学習と統合されたルールベースシステムは、低リソース関係タイプ（例：TrIP、TrNAP）の性能をどの程度向上できるか？
• RQ4 Bi-LSTMとルールベースモデルの共同推論は、I2b2 2010ベンチマークにおいて、単独で使用した場合よりも高いFスコアを達成するか？

主な発見

• Bi-LSTMモデルはTrAP関係でFスコア0.58を達成し、SVMを上回り、大規模な訓練データが深層学習に与える利点を示した。
• ルールベースシステムはTrIPおよびTrNAP関係で高い精度を示し、それぞれFスコア0.47および0.30を達成。統合によりBi-LSTMの性能が顕著に向上した。
• ハイブリッドなBi-LSTMとルールベースシステムは、総合的にFスコア0.52を達成し、Bi-LSTM単体の0.51から0.01の向上を示した。特にTrIP（0.42 vs. 0.41）およびTrNAP（0.30 vs. 0.22）で顕著な改善が見られた。
• ルールベース出力の統合は、訓練サンプル数が少ない関係タイプ（例：TrIP、TrNAP）に対して最も効果的であり、Bi-LSTM単体では性能が低かった。
• 研究では、正解ラベルに曖昧なアノテーション（例：'treated for'がTrAPまたはTrIPとしてラベル付けされる）が存在し、性能のばらつきを引き起こしており、データセット品質の課題を浮き彫りにした。
• 位置に依存する埋め込みと文レベル特徴を含む文全体の表現を用いることで、局所的ウィンドウベースのアプローチと比較して文脈モデリングの精度が向上した。