[論文レビュー] A Bi-LSTM-RNN Model for Relation Classification Using Low-Cost Sequence Features

Fei Li, Meishan Zhang+3 more|arXiv (Cornell University)|Aug 27, 2016

Topic Modeling参考文献 28被引用数 20

ひとこと要約

本稿では、依存構文解析を用いず、低コストなシーケンス特徴（単語と品詞タグ）のみを用いて、2つのエンティティ間の関係を分類するBi-LSTM-RNNモデルを提案する。文を5つの部分（前文脈、エンティティ1、中間文脈、エンティティ2、後続文脈）に分割することで文脈表現を捉え、SemEval-2010およびBioNLP-ST 2016で競争力ある性能を達成した。特に中間文脈が最も情報が多く、最短依存パスに近い情報を提供した。

ABSTRACT

Relation classification is associated with many potential applications in the artificial intelligence area. Recent approaches usually leverage neural networks based on structure features such as syntactic or dependency features to solve this problem. However, high-cost structure features make such approaches inconvenient to be directly used. In addition, structure features are probably domain-dependent. Therefore, this paper proposes a bi-directional long-short-term-memory recurrent-neural-network (Bi-LSTM-RNN) model based on low-cost sequence features to address relation classification. This model divides a sentence or text segment into five parts, namely two target entities and their three contexts. It learns the representations of entities and their contexts, and uses them to classify relations. We evaluate our model on two standard benchmark datasets in different domains, namely SemEval-2010 Task 8 and BioNLP-ST 2016 Task BB3. In the former dataset, our model achieves comparable performance compared with other models using sequence features. In the latter dataset, our model obtains the third best results compared with other models in the official evaluation. Moreover, we find that the context between two target entities plays the most important role in relation classification. Furthermore, statistic experiments show that the context between two target entities can be used as an approximate replacement of the shortest dependency path when dependency parsing is not used.

研究の動機と目的

• 関係分類における構文的・依存構文解析のような高コストでドメイン依存の構造特徴の限界を解消すること。
• 構文解析などの高コストな処理を避けて、単語と品詞タグという低コストなシーケンス特徴のみに依存するモデルを構築し、ドメイン間での移植性を向上させること。
• 異なる文脈的セグメント（前、中間、後）が関係分類性能に与える寄与度を調査すること。
• 構文解析が利用できない状況において、中間文脈が最短依存パス（SDP）の有効な近似として機能するかどうかを評価すること。

提案手法

• モデルは各文を5つのセグメントに分割する：前文脈、最初のエンティティ、中間文脈（エンティティ間）、2番目のエンティティ、後続文脈。
• 双方向LSTMがすべてのセグメントのトークン表現を処理し、長距離依存性を捉え、勾配消失を軽減する。
• 各セグメントの隠れ表現に対して最大プーリングを適用し、固定長の文脈ベクトルを生成する。
• 5つのプールドベクトルを連結し、最終的な関係分類のためのソフトマックス層に供給する。
• モデルは構文解析や依存構文解析を避けて、単語と品詞タグのみを入力特徴として使用する。
• 統計的分析により、2つのベンチマークデータセットにおける中間文脈と最短依存パス（SDP）の語の重複度を比較する。

実験結果

リサーチクエスチョン

• RQ1 単語と品詞タグといった低コストなシーケンス特徴のみを用いて、Bi-LSTM-RNNモデルが競争力ある関係分類性能を達成できるか？
• RQ2 どの文脈的セグメント（前、中間、後）が関係分類に最も寄与しているか？
• RQ3 2つのエンティティ間の文脈が、最短依存パス（SDP）が捉える情報のどの程度を近似できるか？
• RQ4 構文解析が利用できない状況において、中間文脈が関係分類タスクで効果的に依存構文解析の代替として機能できるか？

主な発見

• SemEval-2010タスク8データセットでは、複雑な構造特徴を用いたモデルと同等の性能を達成した。
• BioNLP-ST 2016タスクBB3では、公式提出の全モデルの中で3位を記録し、優れた一般化性能を示した。
• 中間文脈が分類精度に最も寄与しており、前文脈、後続文脈、エンティティ表現を上回った。
• SemEval-2010では、最短依存パス（SDP）の82％の語が中間文脈に含まれていた。
• BioNLP-ST 2016では、SDP語の61％が中間文脈に存在し、より長くノイズの多いバイオメディカルテキストでも強い重複が確認された。
• 結果から、構文解析が不可能な状況では、中間文脈が信頼性が高く低コストなSDPの代替として機能できることが示唆された。