[論文レビュー] Deep learning for extracting protein-protein interactions from biomedical literature

Yifan Peng, Zhiyong Lu|arXiv (Cornell University)|Jun 5, 2017

Biomedical Text Mining and Ontologies参考文献 37被引用数 15

ひとこと要約

本稿では、構文的依存関係から得られる語の埋め込みと主語語の埋め込みを別々に符号化することで、タンパク質-タンパク質相互作用（PPI）抽出を向上させる、マルチチャネル依存ベースの畳み込みニューラルネットワーク、McDepCNNを提案する。このモデルは、クロスコーパス評価において先行手法比で24.4%の相対的F1スコア向上を達成し、難易度の高いインスタンスでは12%の向上を示し、優れた一般化性能と長距離特徴の捉え込みを示している。

ABSTRACT

State-of-the-art methods for protein-protein interaction (PPI) extraction are primarily feature-based or kernel-based by leveraging lexical and syntactic information. But how to incorporate such knowledge in the recent deep learning methods remains an open question. In this paper, we propose a multichannel dependency-based convolutional neural network model (McDepCNN). It applies one channel to the embedding vector of each word in the sentence, and another channel to the embedding vector of the head of the corresponding word. Therefore, the model can use richer information obtained from different channels. Experiments on two public benchmarking datasets, AIMed and BioInfer, demonstrate that McDepCNN compares favorably to the state-of-the-art rich-feature and single-kernel based methods. In addition, McDepCNN achieves 24.4% relative improvement in F1-score over the state-of-the-art methods on cross-corpus evaluation and 12% improvement in F1-score over kernel-based methods on "difficult" instances. These results suggest that McDepCNN generalizes more easily over different corpora, and is capable of capturing long distance features in the sentences.

研究の動機と目的

• 深層学習モデルに構文的および意味的情報を統合する課題に取り組むこと。
• 手動による特徴工学や複雑な類似度関数に依存する特徴ベースおよびカーネルベースの手法の限界を克服すること。
• 多様なバイオメディカルコーパスにわたる一般化性能に優れ、文における長距離依存関係を捉えることができる深層学習モデルを開発すること。
• 特に長文や構造が複雑な文において、難易度の高いPPIインスタンスの性能を向上させること。

提案手法

• McDepCNNは、1つのチャネルを語の埋め込みに、もう1つのチャネルを依存構文解析から得た主語語の埋め込みに使用するマルチチャネルアーキテクチャを採用している。
• 各チャネルは、畳み込み層を経て最大プーリングを適用することで、局所的特徴を抽出する。
• モデルは依存構造を活用して構文的関係を符号化し、長距離依存関係のモデリングを向上させている。
• 異なる受容 field を捉えるために、複数の畳み込みウィンドウサイズ（3, 5, 7）を採用している。
• 二値PPI分類のための交差エントロピー損失を用いて、バックプロパゲーションによるエンドツーエンド学習が行われる。
• アブレーションスタディにより、マルチチャネル設計の有効性が確認され、特に主語語の別チャネルの導入により、単一チャネルモデル比で1.1%の性能向上が達成された。

実験結果

リサーチクエスチョン

• RQ1 構文的依存構造を統合した深層学習モデルは、既存の特徴ベースおよびカーネルベースのPPI抽出手法を上回ることができるか？
• RQ2 McDepCNNモデルは、AIMed や BioInfer のような異なるバイオメディカルコーパス間でどれほど一般化できるか？
• RQ3 依存ベースの主語語の埋め込みを用いることで、長距離または構造が複雑なPPIインスタンスの性能が向上するか？
• RQ4 従来のカーネル手法と比較して、McDepCNNは文における長距離依存関係をどの程度効果的に捉えることができるか？

主な発見

• クロスコーパス評価において、McDepCNNは最先端手法比で24.4%の相対的F1スコア向上を達成し、データセット間での強力な一般化性能を示している。
• 難易度の高いPPIインスタンスでは、McDepCNNのF1スコアは17.3%に達し、次に優れたカーネル手法（5.5 F1）の3倍以上に上回っている。
• 難易度の高いインスタンスにおけるモデルの性能は、長距離依存関係をカーネルベースのアプローチよりも効果的に捉えていることを示唆している。
• アブレーションスタディでは、主語語の別チャネルの導入により、単一チャネルモデル比で1.1%の性能向上が確認され、その有効性が裏付けられた。
• 複数の畳み込みウィンドウサイズ（3, 5, 7）の追加は性能向上をもたらさず、マルチチャネル設計が十分な文脈的特徴を捉えていることを示している。
• AIMed および BioInfer データセットの両方で、McDepCNNは深層学習ベースラインおよび従来のカーネルベース手法を上回り、そのロバストさと有効性が確認された。