[論文レビュー] N-ary Relation Extraction using Graph State LSTM

Linfeng Song, Yue Zhang+2 more|arXiv (Cornell University)|Aug 28, 2018

Topic Modeling被引用数 13

ひとこと要約

本稿では、元の入力グラフ構造を保持するグラフ状態LSTMモデルを提案し、再帰的状態遷移により全ノード（兄弟ノードを含む）間で完全なメッセージパッシングを可能にする。従来の方法がグラフを2つのDAGに分割するのに対し、本手法は三項関係抽出で71.1%の精度を達成し、最先端の双方向DAG-LSTMを1.2%上回り、並列処理性と構造情報の保持性に優れている。

ABSTRACT

Cross-sentence $n$-ary relation extraction detects relations among $n$ entities across multiple sentences. Typical methods formulate an input as a extit{document graph}, integrating various intra-sentential and inter-sentential dependencies. The current state-of-the-art method splits the input graph into two DAGs, adopting a DAG-structured LSTM for each. Though being able to model rich linguistic knowledge by leveraging graph edges, important information can be lost in the splitting procedure. We propose a graph-state LSTM model, which uses a parallel state to model each word, recurrently enriching state values via message passing. Compared with DAG LSTMs, our graph LSTM keeps the original graph structure, and speeds up computation by allowing more parallelization. On a standard benchmark, our model shows the best result in the literature.

研究の動機と目的

• 既存の$n$-ary関係抽出モデルが入力グラフを2つのDAGに分割する方法に起因する構造情報の損失を是正すること。
• メッセージパッシング中に完全なグラフ構造を維持することで、複数文にまたがる構文的および話法的依存関係のモデリングを改善すること。
• 再帰的処理におけるノード順序の逐次処理を回避することで、並列処理性と計算効率を向上させること。
• グラフ再帰ネットワーク（GRNs）が$n$-ary関係抽出における依存関係および話法的関係のモデリングに有効であるかを検証すること。
• 単一のグラフLSTMが、関係抽出の文脈的および構造的情報を捉える上で、2つの別個のDAG-LSTMを上回ることを実証すること。

提案手法

• 本モデルは、入力グラフ内の全単語で共有される再帰状態を維持する単一のグラフ状態LSTMを採用し、依存関係および話法的エッジを通じて双方向のメッセージパッシングを可能にする。
• 各単語の隠れ状態は、グラフ内の隣接ノードからの情報の集約によって反復的に更新され、複数の再帰ステップにわたる文脈拡張が可能になる。
• トレーニングおよび推論の全過程でグラフ構造が保持され、左から右、右から左の2つのDAGに分割することによる情報損失を回避する。
• グラフ再帰ネットワーク（GRNs）を拡張し、ゲート付き再帰ユニット（GRUs）を用いてグラフ構造状態空間内のノード間で情報を伝搬させる。
• 各再帰ステップで単語レベルの状態が同時に並列更新され、逐次的DAG処理に比べて計算効率が向上する。
• 全単語の最終隠れ状態を用いて$n$-ary関係を分類し、構文的および話法的エッジからの特徴をメッセージパッシングによって統合する。

実験結果

リサーチクエスチョン

• RQ1 完全なグラフ構造を保持することで、統合的グラフ状態LSTMモデルが分割DAG-LSTMモデルを上回ることができるか？
• RQ2 完全なグラフメッセージパッシングによる兄弟関係情報の統合が、関係抽出の精度を向上させるか？
• RQ3 グラフ再帰ネットワークが、このタスクにおけるDAGベースLSTMに比べて優れた並列処理性と計算効率を達成できるか？
• RQ4 標準ベンチマーク上でのグラフ状態LSTMの性能は、最先端の双方向DAG-LSTMと比べてどの程度異なるか？
• RQ5 元のグラフ構造を保持することで、$n$-ary関係における文間依存関係のモデリングがどの程度向上するか？

主な発見

• 提案されたグラフ状態LSTMは、三項関係抽出ベンチマークで71.1%の精度を達成し、以前の最先端の双方向DAG-LSTMを1.2ポイント上回った。
• 二項関係抽出では71.7%の精度を達成し、双方向DAG-LSTMベースラインを5.9ポイント上回った。
• マルチクラス関係抽出において、グラフ状態LSTMとDAG-LSTMベースラインの性能差が顕著に拡大したため、文脈表現学習の優位性が示された。
• ノード順序制約がないため、並列処理能力に優れ、全ノードを同時に効率的に処理できる。
• 元のグラフを保持したことで、兄弟関係や複雑な依存パス（例："exon-19" と "EGFR" を "gene" を介して結ぶパス）を効果的に捉えることができ、DAG分割手法では失われていた情報も回復した。
• アブレーションスタディにより、完全なグラフ構造モデリングが、文間$n$-ary関係における長距離およびマルチホップ依存関係を捉える上で不可欠であることが確認された。