[論文レビュー] Graph Neural Networks with Generated Parameters for Relation Extraction

Hao Zhu, Yankai Lin+4 more|arXiv (Cornell University)|Feb 2, 2019

Topic Modeling参考文献 29被引用数 26

ひとこと要約

本稿では、自然言語入力を用いてGNNの重みを動的に生成する「生成パラメータ付きグラフニューラルネットワーク（GP-GNN）」を提案する。これにより、非構造化テキスト上で複数ホップの関係的推論を可能にする。文脈をエッジパラメータにエンコードし、反復的なメッセージパッシングを実行することで、関係抽出タスクにおいてベースラインを著しく上回り、人為アノテート済みおよび遠隔教師ありデータセットで最先端の性能を達成する。これは複数ホップにわたる推論の向上に起因する。

ABSTRACT

Recently, progress has been made towards improving relational reasoning in machine learning field. Among existing models, graph neural networks (GNNs) is one of the most effective approaches for multi-hop relational reasoning. In fact, multi-hop relational reasoning is indispensable in many natural language processing tasks such as relation extraction. In this paper, we propose to generate the parameters of graph neural networks (GP-GNNs) according to natural language sentences, which enables GNNs to process relational reasoning on unstructured text inputs. We verify GP-GNNs in relation extraction from text. Experimental results on a human-annotated dataset and two distantly supervised datasets show that our model achieves significant improvements compared to baselines. We also perform a qualitative analysis to demonstrate that our model could discover more accurate relations by multi-hop relational reasoning.

研究の動機と目的

• 従来のGNNが直接行えないように、非構造化自然言語入力上でグラフニューラルネットワークが複数ホップの関係的推論を実行できるようにすること。
• オープンドメインのテキストに適用する際、標準的なGNNが有する事前定義されたグラフ構造と固定されたエッジタイプの制限を克服すること。
• テキスト的文脈から直接GNNパラメータ（重み）を生成するフレームワークを構築し、より豊富で文脈に適応したメッセージパッシングを可能にすること。
• モデルの有効性を、特に中間エンティティを介した推論により非明示的または推論された関係を発見する関係抽出タスクにおいて検証すること。
• 複数ホップ関係抽出モデルのベンチマークとして使用可能な、2つの遠隔教師ありおよび1つの人為アノテート済みの新規データセットを提供すること。

提案手法

• 自然言語文に含まれるエンティティから完全連結グラフを構築し、各エンティティをノードとして扱う。
• テキスト的文脈をGNNのエッジ重み（パラメータ）にエンコードするパラメータ生成モジュールを採用し、文脈に依存するメッセージパッシングを可能にする。
• 複数のレイヤーにわたるメッセージパッシング機構を用いて関係情報の伝搬を実行し、各レイヤーが増加するホップ距離を捉える。
• ターゲットエンティティペア間の関係予測のため、ノード表現に分類ヘッドを適用する。
• メッセージパッシング中に異なる関係の重要性を重みづけるためにアテンション機構を統合する。
• 関係予測の交差エントロピー損失を用いてエンドツーエンドで学習し、バックプロパゲーションによりパラメータを更新する。

実験結果

リサーチクエスチョン

• RQ1 GNNは、事前定義されたグラフではなく、非構造化自然言語テキスト上で直接複数ホップの関係的推論を実行できるか？
• RQ2 テキスト的文脈からGNNパラメータを生成することで、固定または共起に基づくモデルと比較して推論性能がどのように向上するか？
• RQ3 メッセージパッシングレイヤーの数を増やすことで、特に非直接的または長距離の関係に対して、関係抽出の正確性がどの程度向上するか？
• RQ4 中間エンティティを介した推論により、知識ベースに明示的に記載されていない関係をモデルが発見できるか？
• RQ5 ノイズ耐性という観点から、共起ベースのベースラインと比較して、モデルの頑健性はどの程度高いか？

主な発見

• 3層のGP-GNNが全データセットで最良の性能を示し、より深い推論が関係抽出の正確性を向上させることを示している。
• 人為アノテート済みおよび遠隔教師ありデータセットの両方で、強力なベースライン（Context-Aware RE）を上回り、複雑な文において顕著な向上を示した。
• 「ルイ・ブレッソンは英語を話す」といった、以前に見られなかった関係を、「監督した」や「原題言語」といった中間的事実を介した推論により正しく推論した。
• 定性的な分析から、GP-GNNは推移的推論（例：「所有者」および「所在地」から「所在地に位置する」を含意）といった論理的推論パターンを学習していることが確認された。これに対して共起モデルはこれを捉えられていない。
• 関係の共起に依存しないため、スパurious予測を回避している。例えば、「所在地に位置する」が関係する場合、「国境を接する」を誤って予測しない。
• 密集した遠隔教師ありセットでは、全遠隔教師ありセットと比較して3層モデルの性能向上が顕著に大きかった。これは、高エンティティ密度の文脈において、より大きな利点が得られることを示唆している。