[論文レビュー] Biomedical Event Trigger Identification Using Bidirectional Recurrent Neural Network Based Models

P Rahul, Sunil Kumar Sahu+1 more|arXiv (Cornell University)|May 26, 2017

Biomedical Text Mining and Ontologies参考文献 14被引用数 7

ひとこと要約

本稿では、複雑な手作業特徴量に依存せずに、語とエンティティタイプ埋め込みを活用する、バイディレクショナルRNNベースのバイオメディカルイベントトリガー識別モデルを提案する。バイディレクショナルRNNにより長距離の文脈的依存関係を捉え、語レベルと文レベルの表現を統合することで、MLEEコーパス上で79.11のSOTA F1スコアを達成し、従来のSVM、CNN、フィードフォワードニューラルネットワークベースラインを統計的に有意に上回った。

ABSTRACT

Biomedical events describe complex interactions between various biomedical entities. Event trigger is a word or a phrase which typically signifies the occurrence of an event. Event trigger identification is an important first step in all event extraction methods. However many of the current approaches either rely on complex hand-crafted features or consider features only within a window. In this paper we propose a method that takes the advantage of recurrent neural network (RNN) to extract higher level features present across the sentence. Thus hidden state representation of RNN along with word and entity type embedding as features avoid relying on the complex hand-crafted features generated using various NLP toolkits. Our experiments have shown to achieve state-of-art F1-score on Multi Level Event Extraction (MLEE) corpus. We have also performed category-wise analysis of the result and discussed the importance of various features in trigger identification task.

研究の動機と目的

• 既存のパイプラインで60%以上の誤り率を引き起こすバイオメディカルイベント抽出におけるトリガー識別の不正確さを是正すること。
• NLPツールキットからの複雑で誤りの多い手作業特徴量に依存するのを減らし、ディープラーニングによるエンドツーエンドの特徴量学習を活用すること。
• 再帰的アーキテクチャを用いて、文全体にわたる長距離の文脈的依存関係を捉えることで、性能を向上させること。
• 語の埋め込み、エンティティタイプ埋め込み、およびグローバル文表現といった異なる特徴量がトリガー識別精度に与える寄与を評価すること。

提案手法

• 全文の文脈を捉えるために、バイディレクショナルゲートドリーサンチ・ユニット（GRUs）を用い、局所的な窓を超えた長距離の依存関係を捉える。
• 各トークンの入力特徴として、事前学習済みの語の埋め込みと、ランダム初期化されたエンティティタイプ埋め込みを組み合わせる。
• 語の埋め込みとエンティティタイプ埋め込みを、入力層の各トークンに対して1つの密な特徴量ベクトルに連結する。
• 最終分類のため、RNNからの語レベル特徴（l）と文レベルの隠れ状態（g）の両方を用いる。
• 交差エントロピー損失と確率的勾配降下法を用いて、トリガーワードとタイプ分類の最適化を実行する。
• アブレーションを用いてモデルのバリエーションを評価し、エンティティタイプ埋め込みの有無や、局所的・グローバル特徴の異なる組み合わせの下での性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 バイディレクショナルRNNベースのモデルは、より長い範囲の文脈を捉えることで、窓ベースのモデルに比べてバイオメディカルトリガー識別で優れた性能を示せるか？
• RQ2 語の埋め込み、エンティティタイプ埋め込み、および文レベル表現が、性能向上にどのように寄与しているか？
• RQ3 手作業特徴量を排除することで、従来のSVMベースのアプローチに比べ、より良い一般化性能と高いF1スコアが得られるか？
• RQ4 どのトリガー種別（例：解剖学的、分子的、一般的、計画的）がモデルにとって最も困難であり、その理由は何か？
• RQ5 局所的（語レベル）特徴とグローバル（文レベル）特徴の相対的な影響は、分類精度にどのように現れるか？

主な発見

• 提案されたGRUベースのモデルは、MLEEコーパスで79.11のF1スコアを達成し、SVM、CNN、FFNNを含むすべてのベースラインモデルを上回った。
• FFNNベースライン（p値 = 8.57×10⁻⁷）およびCNNψベースライン（p値 = 1.178×10⁻¹⁰）を有意に上回ったことから、統計的に優れた性能であることが示された。
• 解剖学的（F1: 85.87）および分子的（F1: 80.43）トリガー種別で最も高い性能を示したが、一般的（F1: 77.09）および計画的（F1: 67.43）種別では性能が低下した。
• エンティティタイプ埋め込み（Eₑ）の導入と、局所的およびグローバル特徴（l+g）の両方の使用により、F1スコアが76.52から79.11に向上し、これらが極めて重要な役割を果たしていることが明らかになった。
• 混同行列の分析から、一般および計画的種別における「調節」サブタイプ（例：正の/負の調節）が、誤検出および見逃しの主な要因であることが判明した。
• 具体例から、エンティティタイプ情報が欠落したモデルは、同じ語がトリガーとして機能するか、エンティティの一部として機能するかを区別できないことが示され、Eₑの意味的解釈の重要性が強調された。