[論文レビュー] WikiWhy: Answering and Explaining Cause-and-Effect Questions

Matthew Ho, Aditya Sharma+5 more|arXiv (Cornell University)|Oct 21, 2022

Topic Modeling被引用数 8

ひとこと要約

WikiWhyは、Wikipediaに根ざした9,000件を超える「なぜ」質問-回答-根拠の三つ組みを含む、原因と結果の関係を扱う新しい質問-回答データセットを紹介する。このデータセットは、明示的で自然言語による根拠を要求することで、大規模言語モデル（LLM）の推論能力を評価するベンチマークを確立している。GPT-3は、エンドツーエンドの回答と説明のタスクでわずか38.7％の正答率にとどまり、記憶に依存する推論を超えた常識的推論の余地がまだ大きいことが示された。

ABSTRACT

As large language models (LLMs) grow larger and more sophisticated, assessing their "reasoning" capabilities in natural language grows more challenging. Recent question answering (QA) benchmarks that attempt to assess reasoning are often limited by a narrow scope of covered situations and subject matters. We introduce WikiWhy, a QA dataset built around a novel auxiliary task: explaining why an answer is true in natural language. WikiWhy contains over 9,000 "why" question-answer-rationale triples, grounded on Wikipedia facts across a diverse set of topics. Each rationale is a set of supporting statements connecting the question to the answer. WikiWhy serves as a benchmark for the reasoning capabilities of LLMs because it demands rigorous explicit rationales for each answer to demonstrate the acquisition of implicit commonsense knowledge, which is unlikely to be easily memorized. GPT-3 baselines achieve only 38.7% human-evaluated correctness in the end-to-end answer & explain condition, leaving significant room for future improvements.

研究の動機と目的

• 事実抽出を超えた深い推論を評価するベンチマークの不足に対処すること。
• LLMが現実世界の知識に基づいた有効で解釈可能な因果関係の説明を生成できるかどうかを調査すること。
• 説明の品質を分析し、循環的推論のようなパターンを特定することで、LLMの推論失敗を診断すること。
• 11の広範なトピックにわたる深さと多様性のバランスをとったスケーラブルな人間による根拠を構築すること。
• 自由形式の説明生成タスクにおける推論タスクのベースラインパフォーマンスとメトリクスを確立すること。

提案手法

• データセットはWikipediaの本文から構成され、因果関係を抽出し、「なぜ」質問とそれに応じた回答を形成する。
• 各エントリには、原因から結果への明確なリンクを示す複数の支援的文から成る根拠が含まれており、解釈可能性と推論の深さを保証する。
• 高い承認率を有するクラウドソーシングのアノテーターが根拠を生成し、多様なトピックにわたる品質と一貫性を確保した。
• 正しさ、簡潔さ、文の流れ、妥当性の4基準に基づく人間による評価フレームワークを設計し、ゴールドリファレンスとのWin/Lose/Tie比較を用いた。
• GPT-2およびGPT-3の実験は、エンドツーエンド（回答と説明）、回答のみ、およびオラクルが提供する回答を前提とした回答と説明の3つの設定で実施された。
• 自動メトリクスを導入し、人間の判断と相関をとることで、説明品質を測定する有効性を検証した。

実験結果

リサーチクエスチョン

• RQ1 LLMは、事実的なWikipediaコンテンツに基づいた正確で重複のない因果関係の説明を生成できるか？
• RQ2 正しい答えが与えられた場合でも、現在のLLMが有効な推論チェーンを生成できない程度はどの程度か？
• RQ3 自由形式の推論タスクにおいて、自動メトリクスが人間による説明品質の判断とどの程度相関するか？
• RQ4 答えと根拠を同時に生成させるように要求することで、パイプライン設定（答えは提供済みで、説明のみ生成）と比較して性能が低下するか？
• RQ5 循環的推論などのエラー様式は、LLMが真の常識的理解を欠いていることを示唆するか？

主な発見

• GPT-3は、エンドツーエンドの回答と説明の条件で人間評価による正答率がわずか38.7％にとどまり、推論生成における顕著な制限が示された。
• GPT-3の主な失敗要因は、原因-結果関係をそのままで繰り返すこと（例：「AなのでB」）であり、記憶に依存する推論を超えた深層的推論が欠如していることを示唆している。
• 高い文の流れのスコアを示しても、多くの説明が無効または誤りと判定されたため、言語生成の失敗ではなく、推論のギャップが原因であることが示された。
• パイプライン設定（答えは提供済みで、説明のみ生成）は、エンドツーエンド生成よりも顕著に優れたパフォーマンスを示し、答えの生成がエラーの主な要因であることが浮き彫りになった。
• リファレンス類似度は説明の正答率と強く相関しており、類似度ベースのメトリクスが品質の代理指標として有効であることが裏付けられた。
• 流暢さ、妥当性、簡潔さのための提案されたメトリクスは、人間の判断と強い相関を示し、今後の評価におけるこれらのメトリクスの使用を支持するものとなった。