[論文レビュー] Is Graph Structure Necessary for Multi-hop Reasoning?

Nan Shao, Yiming Cui+3 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 6被引用数 7

ひとこと要約

この論文は、自然言語処理におけるマルチホップ推論においてグラフ構造が本質的であるかどうかを検証し、HotpotQAをベンチマークとして用いる。自己注意機構を備えたトランスフォーマーがグラフ注意機構を置き換え、明示的なグラフ構造なしで最先端の性能を達成できることを示し、このようなタスクにおけるグラフモデリングの必要性に疑問を呈する。

ABSTRACT

Recently, many works attempt to model texts as graph structure and introduce graph neural networks to deal with it on many NLP this http URL this paper, we investigate whether graph structure is necessary for multi-hop reasoning tasks and what role it plays. Our analysis is centered on HotpotQA. We use the state-of-the-art published model, Dynamically Fused Graph Network (DFGN), as our baseline. By directly modifying the pre-trained model, our baseline model gains a large improvement and significantly surpass both published and unpublished works. Ablation experiments established that, with the proper use of pre-trained models, graph structure may not be necessary for multi-hop reasoning. We point out that both the graph structure and the adjacency matrix are task-related prior knowledge, and graph-attention can be considered as a special case of self-attention. Experiments demonstrate that graph-attention or the entire graph structure can be replaced by self-attention or Transformers, and achieve similar results to the previous state-of-the-art model achieved.

研究の動機と目的

• マルチホップ読解タスクで強力なパフォーマンスを達成するために、グラフ構造が本質的であるかどうかを特定すること。
• マルチホップ推論におけるタスク固有の事前知識としてのグラフ構造および隣接行列の役割を評価すること。
• 推論タスクにおけるグラフ注意機構と標準的な自己注意の有効性を比較すること。
• 事前学習モデルが明示的なグラフ構築なしで最先端の結果を達成できるかどうかを評価すること。

提案手法

• 最先端の動的統合グラフネットワーク（DFGN）をベースラインとして採用し、事前学習モデルを用いてHotpotQAで微調整した。
• 明示的なグラフ構造に依存しないように、グラフ注意のコンponentをトランスフォーマーの標準的な自己注意機構に置き換えた。
• グラフ構造と注意機構の両者が推論パフォーマンスに与える寄与を分離するためにアブレーションスタディを実施した。
• 隣接行列をタスク固有の事前知識として扱い、証拠文の間の関係をモデル化する役割を分析した。
• すべての実験で同一の事前学習モデルバックボーンを使用することで、グラフベースと非グラフベースのアプローチ間の公平な比較を確保した。
• グラフ構造の有無にかかわらず、変種間の性能を比較するためにHotpotQAの開発セットで評価した。

実験結果

リサーチクエスチョン

• RQ1 マルチホップ推論タスクで高いパフォーマンスを達成するために、グラフ構造そのものが必要であるのか。
• RQ2 標準的な自己注意と比較して、グラフ注意機構はどの程度パフォーマンス向上に寄与しているのか。
• RQ3 トランスフォーマーにおける自己注意は、マルチホップ推論においてグラフ注意が持つ同じ関係的インダクティブバイアスを効果的にモデル化できるか。
• RQ4 事前学習モデルの使用は、推論タスクにおける明示的なグラフ構造の必要性にどのように影響するか。

主な発見

• DFGNアーキテクチャを用いたベースラインモデルは、事前学習モデルを用いてHotpotQAで最先端のパフォーマンスを達成し、公表済みおよび未公表の先行研究を上回った。
• アブレーション実験の結果、自己注意を用いた場合、グラフ構造を削除してもパフォーマンスが低下しなかった。
• グラフ注意は自己注意の特殊なケースであることが判明し、グラフのインダクティブバイアスを注意機構に埋め込むことができるという示唆が得られた。
• トランスフォーマーにおいて、完全にグラフ構造を自己注意に置き換えることで、以前の最先端モデルと同等のパフォーマンスが達成された。
• 隣接行列およびグラフ構造は、本質的な構造的要素ではなく、タスク固有の事前知識であると特定された。
• 結果から、グラフモデリングの主な利点は、明示的なグラフトポロジーそのものよりも、注意機構に起因する可能性があると示唆された。