[論文レビュー] Feature Assisted bi-directional LSTM Model for Protein-Protein Interaction Identification from Biomedical Texts

Shweta Yadav, Ankit Kumar+3 more|arXiv (Cornell University)|Jul 5, 2018

Biomedical Text Mining and Ontologies参考文献 36被引用数 7

ひとこと要約

本稿では、最短依存経路（SDP）埋め込み、品詞（PoS）タグ、位置埋め込みを組み合わせたsdpLSTMモデルを提案し、生物医学的テキストにおけるタンパク質-タンパク質相互作用（PPI）同定の性能を向上させる。このモデルは句構造的構造と深層文脈学習を活用することで、AiMedで86.45%、BioInferで77.35%の最先端のF1スコアを達成した。

ABSTRACT

Knowledge about protein-protein interactions is essential in understanding the biological processes such as metabolic pathways, DNA replication, and transcription etc. However, a majority of the existing Protein-Protein Interaction (PPI) systems are dependent primarily on the scientific literature, which is yet not accessible as a structured database. Thus, efficient information extraction systems are required for identifying PPI information from the large collection of biomedical texts. Most of the existing systems model the PPI extraction task as a classification problem and are tailored to the handcrafted feature set including domain dependent features. In this paper, we present a novel method based on deep bidirectional long short-term memory (B-LSTM) technique that exploits word sequences and dependency path related information to identify PPI information from text. This model leverages joint modeling of proteins and relations in a single unified framework, which we name as Shortest Dependency Path B-LSTM (sdpLSTM) model. We perform experiments on two popular benchmark PPI datasets, namely AiMed & BioInfer. The evaluation shows the F1-score values of 86.45% and 77.35% on AiMed and BioInfer, respectively. Comparisons with the existing systems show that our proposed approach attains state-of-the-art performance.

研究の動機と目的

• 科学的テキストの爆発的増加に伴い、非構造化された生物医学文献からのタンパク質-タンパク質相互作用（PPI）抽出の課題に対処する。
• 手作業で作成されたドメイン固有の特徴や外部NLPツールに依存する従来のカーネルベースの手法の限界を克服する。
• 最短依存経路を介した句構造的構造と文脈埋め込みを統合した包括的な深層学習フレームワークを用いて、PPI同定の性能を向上させる。
• ベンチマークデータセット（AiMedとBioInfer）上でモデルを評価し、既存の最先端手法に対する性能向上を実証する。

提案手法

• 依存解析を用いてタンパク質ペア間の最短依存経路（SDP）を構築し、文法的関係を捉える。
• PubMedなどから得られる事前学習済みの生物医学的単語埋め込みをSDP内の単語の表現に用い、意味的理解を向上させる。
• 追加の特徴として品詞（PoS）および位置埋め込みを統合し、LSTMの入力表現を豊かにする。
• 統合された特徴表現を双方向LSTM（Bi-LSTM）ネットワークに供給し、長距離依存関係と文脈をモデル化する。
• PPIペアの二値分類のため、交差エントロピー損失を用いてsdpLSTMモデルをエンドツーエンドで学習する。
• 今後の研究で注意メカニズムと多層アーキテクチャの検討を予定する。

実験結果

リサーチクエスチョン

• RQ1 最短依存経路（SDP）埋め込みは、PPI抽出におけるタンパク質間の文法的関係を効果的に表現できるか？
• RQ2 PoSおよび位置埋め込みは、PPI同定における深層学習モデルの性能向上にどのように寄与するか？
• RQ3 提案されたsdpLSTMモデルは、標準的なPPIベンチマークデータセットで既存の最先端手法を上回る性能を示すか？
• RQ4 特に暗黙的または否定的なPPIに対して、モデルの主な失敗モードは何か？
• RQ5 PoSや位置埋め込みといった追加特徴は、性能にどの程度向上効果をもたらすか？また、これは学習エポックに応じてどのように変化するか？

主な発見

• sdpLSTMモデルはAiMedデータセットでF1スコア86.45%、BioInferデータセットで77.35%を達成し、先行する最先端手法を上回った。
• SDP、PoS、位置埋め込みの組み合わせにより、ベースラインのBi-LSTMにSDPを適用した場合に比べ、BioInferで1.49 F1ポイント、AiMedで0.07 F1ポイントの向上が得られた。
• 少ないエポックで学習した場合、追加特徴により1〜2%の性能向上が見られたが、長期間の学習ではこの利点が薄れ、特徴の重複性が顕在化した。
• 誤差解析の結果、依存解析の失敗と否定文脈における相互作用動詞（例：'inhibited'）が誤分類の主な要因であることが判明した。
• 明示的な相互作用動詞がない暗黙のPPIに対してはモデルの性能が著しく低下しており、BioInferでは57件、AiMedでは29件の誤って分類された偽陰性がこの要因に起因した。
• 一般的な内部埋め込みと比較して、生物医学的単語埋め込みは意味的表現を著しく向上させ、複雑な生物医学的テキストにおける性能向上に寄与した。