[論文レビュー] Drug-Drug Interaction Extraction from Biomedical Text Using Long Short Term Memory Network

Sunil Kumar Sahu, Ashish Anand|arXiv (Cornell University)|Jan 28, 2017

Topic Modeling参考文献 31被引用数 33

ひとこと要約

本稿では、手動特徴工学を用いず、語彙埋め込みと位置埋め込みを活用した、3つのLSTMベースのモデル—B-LSTM、AB-LSTM、Joint AB-LSTM—を提案し、生物医学的テキストにおける薬物-薬物相互作用（DDI）分類を実現する。Joint AB-LSTMモデルは、双方向LSTMと注目メカニズムを効果的に活用することで文脈的・構文的依存関係を捉えることにより、SemEval-2013 DDIデータセットで最先端の性能を達成した。

ABSTRACT

Simultaneous administration of multiple drugs can have synergistic or antagonistic effects as one drug can affect activities of other drugs. Synergistic effects lead to improved therapeutic outcomes, whereas, antagonistic effects can be life-threatening, may lead to increased healthcare cost, or may even cause death. Thus identification of unknown drug-drug interaction (DDI) is an important concern for efficient and effective healthcare. Although multiple resources for DDI exist, they are often unable to keep pace with rich amount of information available in fast growing biomedical texts. Most existing methods model DDI extraction from text as a classification problem and mainly rely on handcrafted features. Some of these features further depend on domain specific tools. Recently neural network models using latent features have been shown to give similar or better performance than the other existing models dependent on handcrafted features. In this paper, we present three models namely, {\it B-LSTM}, {\it AB-LSTM} and {\it Joint AB-LSTM} based on long short-term memory (LSTM) network. All three models utilize word and position embedding as latent features and thus do not rely on explicit feature engineering. Further use of bidirectional long short-term memory (Bi-LSTM) networks allow implicit feature extraction from the whole sentence. The two models, {\it AB-LSTM} and {\it Joint AB-LSTM} also use attentive pooling in the output of Bi-LSTM layer to assign weights to features. Our experimental results on the SemEval-2013 DDI extraction dataset show that the {\it Joint AB-LSTM} model outperforms all the existing methods, including those relying on handcrafted features. The other two proposed LSTM models also perform competitively with state-of-the-art methods.

研究の動機と目的

• 急速に増加する生物医学文献からの薬物-薬物相互作用（DDI）抽出の課題に対処すること。従来の知識ベースではその速度に追いついていない。
• 手動特徴工学やドメイン特化ツールに依存しないディープラーニングモデルの開発。
• 語彙埋め込みと位置埋め込みを潜在的特徴として用いるエンドツーエンド学習により、DDI分類性能の向上。
• 注目メカニズムと双方向LSTMが文における長距離依存関係をモデル化する上で果たす影響の調査。
• 文の長さ、エンティティの分離、繰り返しの多い薬物の記載といった要因に起因するモデルの限界の分析。

提案手法

• 特徴工学を明示的に必要としないように、語彙埋め込みと位置埋め込みを入力特徴として使用。
• 前向きおよび後向きの文脈からの文脈表現を捉えるために、双方向LSTM（Bi-LSTM）ネットワークを採用。
• AB-LSTMおよびJoint AB-LSTMで注目メカニズムを導入し、隠れ状態に動的重みを割り当て、分類に寄与する顕著な語を強調。
• Joint AB-LSTMモデルでは、両方の薬物エンティティ間で特徴表現を精緻化するための共同注目メカニズムを適用。
• 交差エントロピー損失とソフトマックス分類を用いて、SemEval-2013 DDIデータセット上でエンドツーエンドでモデルを学習。
• 語彙埋め込み、位置埋め込み、事前学習済みベクトルの貢献度を評価するアブレーションスタディを実施。

実験結果

リサーチクエスチョン

• RQ1 学習済み埋め込みを用いたエンドツーエンドLSTMモデルは、手動特徴に依存する従来手法を上回る性能を示せるか？
• RQ2 注目メカニズムを統合することで、標準的なBi-LSTMモデルと比較してDDI分類性能がどのように向上するか？
• RQ3 語彙埋め込みと位置埋め込みの相対的貢献度は何か？
• RQ4 文の長さや薬物エンティティ間の距離が、モデルの予測精度にどのように影響するか？
• RQ5 主な失敗モードは何か。特にノイズが多い、または長い文においては？

主な発見

• Joint AB-LSTMモデルは、SemEval-2013 DDI分類ベンチマークで最先端の性能を達成し、手動特徴を用いたあらゆる先行手法を上回った。
• 位置埋め込みを削除する、または事前学習済み語彙ベクトルをランダム初期化に置き換えると、性能が相対的に4.6%低下した。これは、これらの要素の重要性を示している。
• 本モデルは、CNNベースのモデルと比較して、長文や薬物エンティティの距離が離れているケースにおいて顕著に優れた性能を示した。
• 注目メカニズムは、「may enhance the effects」や「increase the effects」のような意味的に関連するフレーズを的確に強調しており、有効な注目学習が行われていることを確認した。
• 誤った予測は、長文や繰り返しの多い薬物の記載がある場合に頻発し、ノイズや文脈長に敏感であることが示された。
• Adviceクラスは最も分類が簡単であったが、Int（相互作用）とMechanismクラスでは曖昧さや明確な手がかりの欠如により、モデルが最も苦戦した。