[論文レビュー] Combining Neural Networks and Log-linear Models to Improve Relation Extraction

Thien Huu Nguyen, Ralph Grishman|arXiv (Cornell University)|Nov 18, 2015

Topic Modeling参考文献 34被引用数 81

ひとこと要約

この論文では、畳み込みニューラルネットワーク（CNNs）、再帰的ニューラルネットワーク（RNNs）、および対数線形モデルを組み合わせたハイブリッドモデルを提案し、関係抽出の性能を向上させることを目的としている。CNNを用いて局所的なk-gramパターンを認識し、双方向RNNを用いて長距離の文脈的表現を符号化することで、三つのコンポONENTの単純な多数決による予測を実行することにより、ACE 2005およびSemEvalデータセットで最先端の性能を達成した。

ABSTRACT

The last decade has witnessed the success of the traditional feature-based method on exploiting the discrete structures such as words or lexical patterns to extract relations from text. Recently, convolutional and recurrent neural networks has provided very effective mechanisms to capture the hidden structures within sentences via continuous representations, thereby significantly advancing the performance of relation extraction. The advantage of convolutional neural networks is their capacity to generalize the consecutive k-grams in the sentences while recurrent neural networks are effective to encode long ranges of sentence context. This paper proposes to combine the traditional feature-based method, the convolutional and recurrent neural networks to simultaneously benefit from their advantages. Our systematic evaluation of different network architectures and combination methods demonstrates the effectiveness of this approach and results in the state-of-the-art performance on the ACE 2005 and SemEval dataset.

研究の動機と目的

• 従来の特徴ベースのモデル、CNNs、RNNsの長所を統合することで、関係抽出の性能を向上させること。
• RNNアーキテクチャの関係抽出における性能を体系的に評価すること。これは、その最適設計がまだ十分に解明されていないため。
• 関係抽出の文脈において、CNNs、RNNs、および対数線形モデルを効果的に組み合わせる戦略を調査すること。
• ACE 2005やSemEvalなどのベンチマークデータセットで最先端の結果を達成すること。

提案手法

• 入力文は単語埋め込み、エンティティの照会位置を示す距離埋め込み、エンティティタイプおよびグルーピング（chunking）埋め込みを用いて表現される。
• 二種類の文の表現が用いられる：標準的な逐次的表現（SEQ）と、従属構造に基づく表現（DEP）、これにより文法的構造を捉える。
• 双方向RNN（BIDIRECT）を用いて長距離の依存関係を符号化し、CNNは局所的なk-gramパターンを捉える。
• 対数線形モデルは、手作業で作成された特徴（語彙的パターン、文法的構造、地名辞書など）を用いる。
• 最終的な予測は、CNN、RNN、対数線形モデルの出力の多数決によって行われる。
• 距離および位置埋め込みを用いて、エンティティ照会の相対的位置をネットワークに伝える。

実験結果

リサーチクエスチョン

• RQ1 関係抽出の文脈において、さまざまなRNNアーキテクチャはどの程度の性能を示すか？
• RQ2 CNNs、RNNs、および対数線形モデルを組み合わせることで、関係抽出の性能が向上するか？
• RQ3 早期統合、後期統合、または多数決のうち、どの組み合わせ手法が最も優れた結果をもたらすか？
• RQ4 各モデル（CNN、RNN、対数線形モデル）が最も効果的に捉える関係パターンの種類は何か？
• RQ5 なぜCNNとRNNの組み合わせが個々のモデルを上回るのか？

主な発見

• CNNs、RNNs、および対数線形モデルを多数決によって統合することで、ACE 2005およびSemEvalデータセットの両方で最先端のF1スコアが達成された。
• ACE 2005の開発セットでは、統合モデルがF1スコア64.2を達成し、個々のCNN（63.4）およびRNN（60.0）モデルを上回った。
• BIDIRECT RNNモデルは、PHYS関係においてリ콜50.9を達成し、CNN（34.7）を上回った。これは、長距離の依存関係をよりよく捉えられることを示している。
• CNNモデルは、ART、ORG-AFF、およびGEN-AFF関係においてRNNを上回った。これは、短く表現力のある局所的パターンを検出できる能力のおかげである。
• CNNとRNNの失敗モードは相補的であった：CNNは長距離パターンで苦戦したが、RNNは短いパターンにおけるノイズの多い文脈によって制限を受けていた。
• 多数決は個々のモデルの弱みを効果的に補い、アンサンブル手法が関係抽出における一般化性能を著しく向上させられることを示した。