[論文レビュー] ExplanationLP: Abductive Reasoning for Explainable Science Question Answering

Mokanarangan Thayaparan, Marco Valentino+1 more|arXiv (Cornell University)|Oct 25, 2020

Topic Modeling参考文献 32被引用数 7

ひとこと要約

ExplanationLPは、接地と抽象的推論チェーンを通じて説明を構造化することにより、説明可能な科学QAのための新しい帰納的推論フレームワークを導入する。線形計画法とベイズ最適化を用いて最適な事実部分グラフを選択し、パラメータ数を減らしながらも、トランスフォーマーおよびグラフベースのベースラインと比較して、複雑で長時間の説明を伴う質問において、最先端の性能と高い耐障害性を達成する。

ABSTRACT

We propose a novel approach for answering and explaining multiple-choice science questions by reasoning on grounding and abstract inference chains. This paper frames question answering as an abductive reasoning problem, constructing plausible explanations for each choice and then selecting the candidate with the best explanation as the final answer. Our system, ExplanationLP, elicits explanations by constructing a weighted graph of relevant facts for each candidate answer and extracting the facts that satisfy certain structural and semantic constraints. To extract the explanations, we employ a linear programming formalism designed to select the optimal subgraph. The graphs' weighting function is composed of a set of parameters, which we fine-tune to optimize answer selection performance. We carry out our experiments on the WorldTree and ARC-Challenge corpus to empirically demonstrate the following conclusions: (1) Grounding-Abstract inference chains provides the semantic control to perform explainable abductive reasoning (2) Efficiency and robustness in learning with a fewer number of parameters by outperforming contemporary explainable and transformer-based approaches in a similar setting (3) Generalisability by outperforming SOTA explainable approaches on general science question sets.

研究の動機と目的

• 最先端のトランスフォーマー基盤の科学QAシステムにおける説明可能性の欠如に対処すること。
• 接地および抽象的推論チェーンによる意味的制御をモデル化することで、説明可能な科学QAにおける耐障害性と一般化能力を向上させること。
• 複雑でマルチホップの推論タスクにおいて、パラメータ数を大幅に減らしながらも性能を維持または向上させること。
• マルチホップ推論における意味的ずれ（semantic drift）を、明示的な接地および抽象化メカニズムを用いた説明の構造化によって軽減すること。

提案手法

• システムは、科学QAを帰納的推論として定式化し、最も説明のよい候補回答を選択する。
• 各候補回答に対して重み付き事実グラフを構築し、事実を「接地（質問・回答の用語を概念に結びつける）」と「抽象（核心的な科学的原則）」のカテゴリに分類する。
• 構造的および意味的制約を満たす最適な事実部分グラフを抽出するために線形計画法の形式を用いる。
• 重み関数には学習可能なパラメータを組み込み、その最適化にベイズ最適化を用い、回答選択の正確性を最大化する。
• 外部の知識ベースを活用して事実を取得し、二ホップ推論により説明を構成する：接地事実が用語と概念を結びつけ、抽象事実が科学的原則を提供する。
• 精度と説明長の耐障害性を指標として、WorldTreeおよびARC-Challengeデータセットでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 接地・抽象的推論チェーンは、説明可能な科学QAの帰納的推論において、より優れた意味的制御を可能にするか？
• RQ2 少ないパラメータで動作する線形計画法に基づく説明抽出手法は、トランスフォーマー基盤およびグラフベースのアプローチを上回る性能を示すか？
• RQ3 既存手法と比較して、説明長が延びるに従い、ExplanationLPの性能はどの程度低下するか？
• RQ4 回答選択肢間の語彙的重複度が、説明システムの耐障害性にどの程度影響を与えるか？
• RQ5 多様な一般科学QAのセットにおいて、モデルは効果的に一般化できるか？

主な発見

• ExplanationLPは一般科学QAのセットにおいて、最先端の説明可能なアプローチを上回り、優れた一般化能力を示す。
• 説明長が延びても安定した性能を維持し、PathNet や BERT がマルチホップで意味的ずれを起こすのと比較して、著しく劣化が少ない。
• 語彙的重複に依存しているにもかかわらず、選択肢間の語の重複度が高くなっても、性能の低下が最小限に抑えられており、語彙的ノイズに対して耐障害性があることが示された。
• 学習パラメータ数を減らしながらも、説明可能な科学QAで最先端の結果を達成し、効率性と耐障害性を示した。
• 接地・抽象的チェーン構造は意味的ずれを効果的に低減し、複雑でマルチホップな状況でも信頼できる帰納的推論を可能にした。
• 線形計画法の目的関数に対するベイズ最適化は、ニューラルベースラインのエンドツーエンド学習に比べ、パラメータ効率性と性能が優れている。