[論文レビュー] Fact-driven Logical Reasoning.

Siru Ouyang, Zhuosheng Zhang+1 more|arXiv (Cornell University)|May 21, 2021

Topic Modeling参考文献 40被引用数 9

ひとこと要約

本稿では、文を主語-動詞-目的語という事実単位としてモデル化し、局所的および包括的知識を捉えることによって、事実中心の論理的推論フレームワーク「Focal Reasoner」を提案する。これらの単位からスーパーグラフを構築し、質問と選択肢の相互作用を統合することで、ReClorおよびLogiQAで最先端の性能を達成し、従来手法を顕著に上回る。

ABSTRACT

Logical reasoning, which is closely related to human cognition, is of vital importance in human's understanding of texts. Recent years have witnessed increasing attentions on machine's logical reasoning abilities. However, previous studies commonly apply ad-hoc methods to model pre-defined relation patterns, such as linking named entities, which only considers global knowledge components that are related to commonsense, without local perception of complete facts or events. Such methodology is obviously insufficient to deal with complicated logical structures. Therefore, we argue that the natural logic units would be the group of backbone constituents of the sentence such as the subject-verb-object formed facts, covering both global and local knowledge pieces that are necessary as the basis for logical reasoning. Beyond building the ad-hoc graphs, we propose a more general and convenient fact-driven approach to construct a supergraph on top of our newly defined fact units, and enhance the supergraph with further explicit guidance of local question and option interactions. Experiments on two challenging logical reasoning benchmark datasets, ReClor and LogiQA, show that our proposed model, extsc{Focal Reasoner}, outperforms the baseline models dramatically. It can also be smoothly applied to other downstream tasks such as MuTual, a dialogue reasoning dataset, achieving competitive results.

研究の動機と目的

• 一時的な関係パターンに依存する従来手法の限界を是正し、局所的事実レベルの認識を無視する問題を解決すること。
• 複雑な論理構造をモデル化する際に、グローバル知識のみに依存するアプローチの不十分さを克服すること。
• 局所的事実単位とグローバル推論コンponentsを統合する汎用的で柔軟なフレームワークを導入すること。
• 質問、選択肢、および事実レベルの表現の間の相互作用を明示的にモデル化することで推論を強化すること。
• 専用ベンチマークを超えて、多様な下流推論タスクへの広範な適用可能性を実現すること。

提案手法

• 文内の完全な事実を表すために、基本的な論理的単位を主語-動詞-目的語のトリプレットとして定義する。
• 入力テキスト全体にわたる事実単位を集約してスーパーグラフを構築し、包括的な推論構造を形成する。
• 質問と選択肢の局所的表現をアテンション機構を介してスーパーグラフに統合し、推論をガイドする。
• 質問／選択肢と事実単位の間の明示的な相互作用モデルを用いて、推論経路を精緻化する。
• 論理的推論データセットからの教師信号を用いて、モデルをエンドツーエンドで訓練する。
• 同じ事実ベースのスーパーグラフ構築手法を活用することで、MuTualのような他のタスクにフレームワークを適応する。

実験結果

リサーチクエスチョン

• RQ1 文を主語-動詞-目的語という事実単位としてモデル化することで、一時的な関係パターンを超えた論理的推論の向上が図れるか？
• RQ2 事実ベースのスーパーグラフに局所的質問および選択肢の相互作用を統合することで、推論性能が向上するか？
• RQ3 提案された事実中心のアプローチは、多様な論理的推論ベンチマークにどのように一般化されるか？
• RQ4 対話理解のような非専用推論タスクへのフレームワークの拡張は、どの程度可能か？
• RQ5 複雑な推論において、局所的事実認識とグローバル知識の利用の相対的寄与度は何か？

主な発見

• Focal ReasonerはReClorベンチマークで最先端の性能を達成し、既存のモデルを上回る。
• モデルはLogiQAデータセットでも顕著な改善を示し、複雑な論理的推論における強力な一般化能力を実証した。
• 事実中心のスーパーグラフ構築により、従来の一時的なグラフ手法よりも、より複雑な論理的依存関係のモデル化が可能になった。
• 質問・選択肢の相互作用を明示的に統合することで、推論精度に顕著な向上が見られた。
• MuTual（対話推論データセット）でも競争力のある結果を達成し、高い汎用性を示した。
• 本アプローチは、局所的事実認識とグローバル知識の利用を効果的にバランスさせ、優れた推論結果をもたらした。