[論文レビュー] Combining Long Short Term Memory and Convolutional Neural Network for Cross-Sentence n-ary Relation Extraction

Angrosh Mandya, Danushka Bollegala+2 more|arXiv (Cornell University)|Nov 2, 2018

Topic Modeling被引用数 10

ひとこと要約

本稿では、語彙埋め込みと位置埋め込みを組み合わせることで、長距離順序モデリングと顕著な特徴抽出を活用し、ベンチマークデータセット上でベースラインおよび最先端手法を著しく上回る、LSTM-CNNハイブリッドモデルを提案する。

ABSTRACT

We propose in this paper a combined model of Long Short Term Memory and Convolutional Neural Networks (LSTM-CNN) that exploits word embeddings and positional embeddings for cross-sentence n-ary relation extraction. The proposed model brings together the properties of both LSTMs and CNNs, to simultaneously exploit long-range sequential information and capture most informative features, essential for cross-sentence n-ary relation extraction. The LSTM-CNN model is evaluated on standard dataset on cross-sentence n-ary relation extraction, where it significantly outperforms baselines such as CNNs, LSTMs and also a combined CNN-LSTM model. The paper also shows that the LSTM-CNN model outperforms the current state-of-the-art methods on cross-sentence n-ary relation extraction.

研究の動機と目的

• 複数文にまたがるn-arity関係を抽出する課題に取り組むこと。従来のパターンベースまたは依存構造ベースの手法では困難である。
• 跨文関係抽出における長距離依存関係の処理と可変長テキストスパンの扱いの限界を克服すること。
• LSTMによる順序モデリングとCNNによる特徴抽出の長所を効果的に組み合わせたニューラルネットワークモデルの開発。
• 語彙頻度（wf）や位置特徴（pf）といった単純だが効果的な特徴を組み込むことで、n-arity関係抽出の性能を向上させること。
• 言語的特徴やマルチタスク学習に依存する複雑なモデルよりも、より単純でエンドツーエンドの深層学習モデルが優れた性能を示すことを示すこと。

提案手法

• 連続するt個の文のトークンを連結した系列を符号化するために、双方向LSTMを最初の層として使用し、長距離依存関係を捉える。
• LSTMの隠れ状態に1次元畳み込みニューラルネットワーク（CNN）を適用し、関係分類に適した局所的で顕著な特徴を抽出する。
• 語彙埋め込みと位置埋め込みを入力特徴として統合し、トークンの位置と意味的コンテンツの表現を強化する。
• LSTM-CNNアーキテクチャを用いて、可変長テキストスパンの固定長表現においてn-arity関係を分類する。
• 交差エントロピー損失を用いてエンドツーエンドで学習し、分類の前に系列長を短縮するためにアテンション機構またはプーリングを適用する。
• wfおよびpfの追加特徴の有無を比較評価し、単純な特徴が高精度を達成するのに十分であることを示す。

実験結果

リサーチクエスチョン

• RQ1 LSTM-CNNハイブリッドモデルは、2つ以上のエンティティをまたぐ複数文にまたがるn-arity関係を効果的に抽出できるか？
• RQ2 提案手法のLSTM-CNNモデルは、単独のCNN、LSTM、およびCNN-LSTMモデルと比較して、跨文n-arity関係抽出でどのように性能を発揮するか？
• RQ3 語彙頻度（wf）や位置特徴（pf）といった単純な特徴は、複雑な言語的特徴と比較して、性能向上にどの程度寄与するか？
• RQ4 提案手法のモデルは、跨文n-arity関係抽出の標準ベンチマークデータセットで、最先端手法を上回る性能を示すか？
• RQ5 外部知識ベースや複雑な解析に依存せずに、異なるテキストスパン長（1文 vs. 複数文）に一般化できるか？

主な発見

• 提案されたLSTM-CNN+wf+pfモデルは、q&pデータセットにおける跨文3項関係抽出でF1スコア82.9を達成し、以前の最先端手法（80.7）を著しく上回った。
• CIDデータセットでは、跨文2項関係抽出でF1スコア63.0を達成し、CNN、LSTM、CNN+LSTMモデルを含むすべてのベースラインを上回った。
• q&pデータセットでは、跨文n-arity関係抽出でF1スコア82.9を達成し、以前の最先端手法（80.7%）を上回った。
• wfおよびpf特徴を組み込んだLSTM-CNNモデルは、複雑な言語的特徴、最大エントロピー、SVMベースの手法を用いたモデルよりも高いF1スコアを達成した。
• LSTMとCNNの組み合わせにより、単独のCNNやLSTMモデルよりも良好な適合率と再現率のトレードオフが達成され、CNNにwfまたはwf+pfを適用した場合のF1スコアはそれぞれ69.7および78.9であった。
• モデルは異なるテキストスパン長にわたり頑健な性能を示し、外部知識ベースや開発セットチューニングに依存せずに、1文および複数文のスパンで強力な性能を発揮した。