[論文レビュー] Graph Sequential Network for Reasoning over Sequences

Ming Tu, Jing Huang+2 more|arXiv (Cornell University)|Apr 4, 2020

Topic Modeling参考文献 30被引用数 4

ひとこと要約

本稿では、グラフ順序ネットワーク（GSN）を提案する。これは、co-attentionを用いて順序付きノード特徴量に対して直接メッセージパッシングを行う、新しいGNNの変種であり、初期の要約による情報損失を回避する。GSNは順序付きラベル付けを可能にし、順序ベースのグラフにおける推論を向上させる。HotpotQAおよびFEVERにおいて、標準GNNを上回り、FEVERスコアで1.29%、正答率で1.19%の向上を達成した。

ABSTRACT

Recently Graph Neural Network (GNN) has been applied successfully to various NLP tasks that require reasoning, such as multi-hop machine reading comprehension. In this paper, we consider a novel case where reasoning is needed over graphs built from sequences, i.e. graph nodes with sequence data. Existing GNN models fulfill this goal by first summarizing the node sequences into fixed-dimensional vectors, then applying GNN on these vectors. To avoid information loss inherent in the early summarization and make sequential labeling tasks on GNN output feasible, we propose a new type of GNN called Graph Sequential Network (GSN), which features a new message passing algorithm based on co-attention between a node and each of its neighbors. We validate the proposed GSN on two NLP tasks: interpretable multi-hop reading comprehension on HotpotQA and graph based fact verification on FEVER. Both tasks require reasoning over multiple documents or sentences. Our experimental results show that the proposed GSN attains better performance than the standard GNN based methods.

研究の動機と目的

• 自然言語処理タスクにおいて、順序付きノード特徴量を処理する際のGNNにおける初期要約による情報損失を解消すること。
• 出力に順序レベルの表現を保持することで、GNN出力における順序付きラベル付けタスクを可能にすること。
• 複数のテキストシーケンスから構築されたグラフにおけるマルチホップ推論を向上させること、例えば、読解や事実検証の文脈において。
• 接続されたノード間のシーケンス間で動的に注目を向けるメッセージパッシング機構を開発すること。
• ドキュメント間推論を要する推論中心のNLPタスクにおいて、モデルを検証すること。

提案手法

• GSNは、ノードとその各隣接ノードの間で、従来のベクトルベースの集約に代わって、共注意力に基づくメッセージパッシング機構を導入する。
• 共注意力機構は、現在のノードと隣接ノードのシーケンスのトークン間で注目重みを計算し、文脈に応じた特徴伝搬を可能にする。
• 注目行列を用いて隣接ノード特徴量の重み付き集約により、各ノードの表現を更新することで、順序レベルの構造を保持する。
• プーリングを伴わないまま、生のBERTエンコーディング済みシーケンスを直接処理することで、推論に向けた完全な順序的文脈を維持する。
• GSN処理後に2段階の注目プーリングを適用し、分類タスク用のグラフレベル表現を生成する。
• 従来のGNNが固定サイズのベクトルのみを出力するのに対し、本フレームワークはノードレベルの順序付きラベル付けとグラフレベルの分類の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ノードがシーケンスで表現される際、メッセージパッシング中にGNNの変種が順序レベルの情報を保持できるか。
• RQ2 プーリングベースのGNNと比較して、共注意力に基づくメッセージパッシングがマルチホップNLPタスクにおける推論性能を向上させるか。
• RQ3 GSNが、出力がベクトルのみであるため標準GNNでは不可能な順序付きラベル付けタスクをサポートできるか。
• RQ4 GSNが、マルチホップ読解や事実検証のような複雑な推論タスクでより優れたパフォーマンスを達成できるか。
• RQ5 GSNにおける注目メカニズムが、推論中に意味のある文間注目パターンをどのように明らかにするか。

主な発見

• FEVER開発セットにおいて、GSNは74.89%のACCと70.51%のFEVERスコアを達成し、ベースラインGNNシステム（73.72% ACC、69.26% FEVER）を上回った。
• FEVERテストセットでは、GSNは72.00%のACCと67.13%のFEVERスコアを達成し、ベースラインシステムよりACCで1.20%、FEVERスコアで1.25%の向上を示した。
• HotpotQAにおいて、GSNは解釈可能なマルチホップ読解で改善されたパフォーマンスを示し、質的注目ヒートマップが答えのスパンやブリッジエンティティと整合していることを示した。
• 可視化により、GSNが答えのスパン内のキーワード「YG Entertainment」と「Y」に注目していることが確認され、効果的な文間推論が行われていることが示された。
• モデルが順序レベルの表現を保持できる能力のおかげで、標準GNNの制限であった順序付きラベル付けが可能になった。
• 提案された共注意力メカニズムは、長さが異なるシーケンス間、場合によっては複数の文書をまたがるシーケンス間でも、関連する情報を効果的に捉えることができた。