[論文レビュー] STREET: A Multi-Task Structured Reasoning and Explanation Benchmark

José A. Ribeiro, Shen Wang+11 more|arXiv (Cornell University)|Feb 13, 2023

Topic Modeling被引用数 6

ひとこと要約

この論文は、自然言語における質問応答における構造的推論と説明のためのマルチタスク・マルチドメインベンチマーク、STREETを紹介する。モデルが前提から結論へとつながる、テキスト的含意の構造的連鎖（推論グラフ）を段階的に生成する必要があり、強力なモデルであるファインチューニング済みT5や少数-shot GPT-3ですら、一貫性があり正確な推論に著しく苦労していることが明らかになり、現在の言語モデルの説明可能な推論能力に大きなギャップが存在していることを示している。

ABSTRACT

We introduce STREET, a unified multi-task and multi-domain natural language reasoning and explanation benchmark. Unlike most existing question-answering (QA) datasets, we expect models to not only answer questions, but also produce step-by-step structured explanations describing how premises in the question are used to produce intermediate conclusions that can prove the correctness of a certain answer. We perform extensive evaluation with popular language models such as few-shot prompting GPT-3 and fine-tuned T5. We find that these models still lag behind human performance when producing such structured reasoning steps. We believe this work will provide a way for the community to better train and test systems on multi-step reasoning and explanations in natural language.

研究の動機と目的

• 自然言語質問応答における推論と説明の両方を評価する包括的なベンチマークの不足を解消すること。
• 定量的・分析的・演繹的推論など、多様な推論タイプを捉える、マルチステップ・マルチドメイン推論の統一フレームワークを構築すること。
• 前提が結論にどのように導かれるかを追跡する構造的で段階的な説明（推論グラフ）を要求することで、モデルの解釈可能性を向上させること。
• 単なる答えの予測を越えて、一貫性があり正確な推論チェーンを生成する能力を、最先端の言語モデルがどのように果たしているかを評価すること。
• 異なるドメインや推論の複雑さのレベルにおいて、推論能力を体系的に評価できる標準化されたマルチタスクベンチマークを提供すること。

提案手法

• ベンチマークは、文脈、質問、回答選択肢から抽出された原子的推論単位としてのテキスト的論理ユニット（TLUs）を導入する。
• 各質問は、複数の中間的推論ステップからなる推論グラフに関連付けられており、各ステップはTLUsから導かれたテキスト的含意である。
• 推論グラフは、エキスパートがアノテートした（14.7kステップ）か、プログラム的に生成されたもので、合計で35.8kの質問に151.1kの推論ステップが含まれる。
• データセットは、定量的推論（例：GSM8K）、分析的推論（例：AR-LSAT）、演繹的・一般的常識的推論の3つのドメインをカバーする。
• 評価指標は、生成された推論グラフとゴールスタンダードグラフとの間の構造的・意味的整合性を検証するように設計されており、ステップの正しさと論理的整合性を含む。
• モデルは、GPT-3では少数-shotプロンプティング、T5ではファインチューニングを用いて全ベンチマークで評価され、答えの正確性と推論グラフの整合性の両方で性能が測定された。

実験結果

リサーチクエスチョン

• RQ1 言語モデルは、自然言語の前提から答えがどのように導かれるかを正確に説明する構造的でマルチステップの推論グラフを生成できるか？
• RQ2 GPT-3 やファインチューニング済み T5 といった現在の大型言語モデルは、多様な推論タイプにわたり、一貫性があり論理的に妥当な推論チェーンを生成する能力をどの程度果たしているか？
• RQ3 答えが正しくても、モデルが答えを想起せずに論理的根拠なしに幻覚を起こす（ hallucinate ）割合はどの程度か？
• RQ4 推論の複雑さ（例：ステップ数、構造的深さ）が、正確な説明を生成する際のモデルのパフォーマンスにどのように影響するか？
• RQ5 推論生成における主な失敗モードは何か。具体的には、誤った論理、計算ミス、または関係のないステップの挿入が顕著に見られるか？

主な発見

• ファインチューニング済みT5と少数-shot GPT-3は、元のQAタスクでは高い答えの正確性を達成しているが、正しい推論グラフを生成する点で顕著に劣っており、答えの予測と推論の説明の間には乖離が生じていることが示された。
• GPT-3の推論ステップの約28％は、論理的根拠なしに答えを幻覚的に生成しており、最終的な答えが正しくても同様に発生する。
• GSM8Kにおける誤った推論ステップの約12％は計算ミスに起因しており、継続的な数値的推論の限界が浮き彫りになった。
• AR-LSATタスクでは、GPT-3 [davinci] が答えを生成しないケースが多く見られ、約33％の出力に回答が含まれていなかった。また、しばしば結論を導かないままTLUをコピーする傾向を示した。
• モデルは、特に複数の前提を含む複雑な推論シナリオにおいて、一貫性のないまたは関係のない推論ステップを生成する傾向が強く、推論一般化の能力に欠如していることが示された。
• 人間の推論グラフ生成パフォーマンスはモデルのパフォーマンスを大幅に上回っており、現在の言語モデルが構造的で説明可能な推論において依然として人間の能力に劣っていることが確認された。