[論文レビュー] End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures

Makoto Miwa, Mohit Bansal|arXiv (Cornell University)|Jan 5, 2016

Topic Modeling参考文献 40被引用数 197

ひとこと要約

論文は、エンティティを同時に検出し、関係を抽出するエンドツーエンドのニューラルモデルを導入します。積み重ねられた双方向の逐次LSTMと木構造LSTMネットワークを使用し、エンティティの事前訓練とスケジュールドサンプリングで性能を向上させます。

ABSTRACT

We present a novel end-to-end neural model to extract entities and relations between them. Our recurrent neural network based model captures both word sequence and dependency tree substructure information by stacking bidirectional tree-structured LSTM-RNNs on bidirectional sequential LSTM-RNNs. This allows our model to jointly represent both entities and relations with shared parameters in a single model. We further encourage detection of entities during training and use of entity information in relation extraction via entity pretraining and scheduled sampling. Our model improves over the state-of-the-art feature-based model on end-to-end relation extraction, achieving 12.1% and 5.7% relative error reductions in F1-score on ACE2005 and ACE2004, respectively. We also show that our LSTM-RNN based model compares favorably to the state-of-the-art CNN based model (in F1-score) on nominal relation classification (SemEval-2010 Task 8). Finally, we present an extensive ablation analysis of several model components.

研究の動機と目的

• エンティティと関係をパイプラインではなく単一のモデルとしてエンドツーエンドで抽出する動機付け。
• 語の列と依存木構造の共同表現を探索し、関係抽出を改善する。
• エンティティの事前学習やスケジュールドサンプリングといった訓練手法の改善を調査し、エンドツーエンド学習の安定性を高める。
• ACE04/ACE05の最先端の特徴量ベースモデルと比較評価し、関係分類タスクではCNNベース/他のNNモデルと比較する。

提案手法

• 単語を埋め込みで表現し、双方向のシーケンスLSTM層で処理して線形文脈を捉える。
• シーケンス層の上に双方向の木構造LSTMを積み重ねて、候補エンティティペア間の依存パス情報をエンコードする。
• 共有表現を用いたシーケンスラベリングヘッド（BILOUスキーム）でエンティティを検出する。
• 関係候補について、木-LSTMから依存パスベースのベクトルを計算し、エンティティレベルとシーケンス特徴と結合して関係タイプを分類する。
• 時間に沿ったバックプロパゲーションでエンドツーエンド訓練を行い、初期訓練とエンティティ品質を向上させるためにスケジュールドサンプリングとエンティティの事前学習を使用する。
• さまざまな木/シーケンス構造と訓練コンポーネントを比較するアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのニューラルモデルは、特徴量ベースのシステムよりも、エンティティを同時に検出し関係を分類する精度を高められるのか？
• RQ2 双方向のシーケンス情報と双方向の木構造情報を組み合わせることで関係抽出の精度は向上するか？
• RQ3 エンティティ事前学習やスケジュールドサンプリングといった訓練の改善がエンドツーエンドの性能を意味のある程度向上させるか？
• RQ4 最短経路依存表現はニューラルモデルの関係抽出に有効か？
• RQ5 異なるLSTM-RNN構造（シーケンス vs. 木、短経路 vs. 全木）はエンドツーエンドの関係抽出でどう比較されるか？

主な発見

データセット	モデル	エンティティP	エンティティR	エンティティF1	関係P	関係R	関係F1
ACE05	Our Model (SPTree)	0.829	0.839	0.834	0.572	0.540	0.556
ACE05	(baseline/alternative)	0.852	0.769	0.808	0.654	0.398	0.495
ACE04	Our Model (SPTree)	0.808	0.829	0.818	0.487	0.481	0.484
ACE04	(baseline/alternative)	0.835	0.762	0.797	0.608	0.361	0.453

• ACE05のエンドツーエンド関係抽出で最先端の特徴量ベースモデルを上回る（F1で相対的な誤差削減12.1%）、ACE04では5.7%の削減。
• SemEval-2010 Task 8では、名義関係分類について最先端のCNNベースモデルと競合し、WordNet情報を用いるとさらなる利得が見込まれる。
• エンティティ事前学習とスケジュールドサンプリングはエンドツーエンドの性能を大幅に改善し、関係抽出には信頼性の高いエンティティ検出が重要であることを示している。
• 依存情報に最短経路（SPTree）構造を用いると強い結果となり、最短経路外の情報は性能を損なう可能性がある；LSTMのvariants の中で、SPTree はしばしば他と同等か上回る。
• エンティティ検出と関係分類の間でパラメータを共有することは利点をもたらし、提案された訓練の改善と組み合わせると特に効果的。
• アブレーションによりシーケンス層がエンティティ関連情報を関係分類子へ提供するために依然必要であること、ペアレベルの特徴が関係分類を改善することが示された。