[論文レビュー] DAGN: Discourse-Aware Graph Network for Logical Reasoning

Yinya Huang, Meng Fang+3 more|arXiv (Cornell University)|Mar 26, 2021

Topic Modeling参考文献 49被引用数 6

ひとこと要約

本稿では、要因的記述単位（EDU）と記述関係から論理グラフを構築することで、質疑応答における論理的推論をモデル化する、記述に配慮したグラフネットワーク（DAGN）を提案する。グラフニューラルネットワークを用いて記述に配慮した特徴を学習し、それらを文脈に依存する埋め込みと統合することで、DAGNはReClorおよびLogiQAで最先端の性能を達成し、記述構造が論理的推論を向上させることの有効性を示している。

ABSTRACT

Recent QA with logical reasoning questions requires passage-level relations among the sentences. However, current approaches still focus on sentence-level relations interacting among tokens. In this work, we explore aggregating passage-level clues for solving logical reasoning QA by using discourse-based information. We propose a discourse-aware graph network (DAGN) that reasons relying on the discourse structure of the texts. The model encodes discourse information as a graph with elementary discourse units (EDUs) and discourse relations, and learns the discourse-aware features via a graph network for downstream QA tasks. Experiments are conducted on two logical reasoning QA datasets, ReClor and LogiQA, and our proposed DAGN achieves competitive results. The source code is available at https://github.com/Eleanor-H/DAGN.

研究の動機と目的

• 複雑な本文において隠れた論理的構造を特定する必要がある、論理的推論を要するQA分野の課題に対処すること。
• トークンレベルやエンティティレベルの関係を超えて、記述レベルの構造を組み込むことで推論を向上させること。
• 論説的本文における論理的単位と関係を定義する手段として、記述関係を活用することの検討。
• 記述構造を明示的にモデル化するグラフベースの手法を開発し、QAタスクにおける推論を向上させること。
• 記述に配慮したグラフ学習が、論理的推論ベンチマークにおける性能向上に寄与することを実証すること。

提案手法

• PDTB 2.0の記述関係を用いてテキストを要因的記述単位（EDU）に分割し、論理グラフのノードとして扱う。
• 記述関係（明示的および暗黙的）がEDUを接続するエッジとして機能し、記述に基づく論理グラフを構築する。
• グラフニューラルネットワーク（GNN）がメッセージパッシングを実行し、グラフ構造から記述に配慮した特徴を学習する。
• 事前学習済み言語モデルからの文脈に依存するトークン埋め込みと、記述に配慮したグラフ特徴を統合し、回答予測を行う。
• 交差エントロピー損失を用いて、複数選択式論理的推論QAデータセット上でエンドツーエンドでモデルを訓練する。
• アブレーションスタディにより、記述構造、グラフ推論、適切なEDU/エッジ設計の重要性を検証する。

実験結果

リサーチクエスチョン

• RQ1 論説的本文における論理的推論単位（EDU）を定義するために、記述関係を効果的に活用できるか？
• RQ2 グラフベースのモデルに記述構造を組み込むことで、QAにおける論理的推論がどの程度向上するか？
• RQ3 ノードの粒度やエッジの種別といった、異なるグラフ構築の選択が推論性能に与える影響は何か？
• RQ4 記述に配慮した特徴は、事前学習済み言語モデルの推論能力をどの程度向上させるか？
• RQ5 論理的推論の文脈では、エンティティベースや完全結合グラフと比較して、記述に基づくグラフ構造がより効果的であるか？

主な発見

• DAGNはReClorおよびLogiQAで競争力のある性能を達成し、既存のオープンソース手法を上回っている。
• 節レベルのEDUをノードとして使用すると、文レベルや粗い単位よりも優れた結果が得られ、粗い単位を使用すると正答率が64.40%に低下する。
• 記述関係を削除（完全結合グラフに置き換え）すると性能は61.60%に低下し、意味的なエッジ接続の重要性が証明された。
• すべてのエッジを同一の種別として扱うと正答率が64.80%に低下し、記述関係の種別を区別することで推論性能が向上することが示された。
• グラフ推論モジュールを除いたアブレーションでは顕著な性能低下が観察され、記述に配慮した特徴学習の必要性が確認された。
• モデルの性能はグラフ構造の変更に対して頑健であるが、最適な設計（EDUs + 記述関係）が最も優れた結果をもたらす。