[論文レビュー] Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering

Zhengbao Jiang, Jun Araki+2 more|arXiv (Cornell University)|Oct 9, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿は、生成的質問応答（QA）モデルにおけるゼロショット多ステップ推論を調査し、モデルが単一ステップの質問から多ステップの質問へ一般化できないことを明らかにした。本稿では、単一ステップの質問を連結する手法と、SPARQL論理形式での微調整を行う2つの手法を提案し、特に両者を組み合わせた場合に顕著な向上が得られることを示した。

ABSTRACT

Generative question answering (QA) models generate answers to questions either solely based on the parameters of the model (the closed-book setting) or additionally retrieving relevant evidence (the open-book setting). Generative QA models can answer some relatively complex questions, but the mechanism through which they do so is still poorly understood. We perform several studies aimed at better understanding the multi-hop reasoning capabilities of generative QA models. First, we decompose multi-hop questions into multiple corresponding single-hop questions, and find marked inconsistency in QA models' answers on these pairs of ostensibly identical question chains. Second, we find that models lack zero-shot multi-hop reasoning ability: when trained only on single-hop questions, models generalize poorly to multi-hop questions. Finally, we demonstrate that it is possible to improve models' zero-shot multi-hop reasoning capacity through two methods that approximate real multi-hop natural language (NL) questions by training on either concatenation of single-hop questions or logical forms (SPARQL). In sum, these results demonstrate that multi-hop reasoning does not emerge naturally in generative QA models, but can be encouraged by advances in training or modeling techniques.

研究の動機と目的

• 生成的QAモデルが単一ステップの質問のみで学習された場合に、ゼロショットで多ステップ推論を安定して行えるかどうかを調査すること。
• 多ステップ質問を単一ステップの要素に分解した際のモデル出力の整合性と正しさを分析すること。
• 連結された単一ステップ質問やSPARQLクエリによる多ステップ質問の近似が、ゼロショット多ステップ推論能力を向上させられるかどうかを評価すること。
• 構造化された論理形式（SPARQL）で学習させることで、自然言語の多ステップ質問への一般化が可能かどうかを調査すること。
• 現在の生成的QAモデルにおける構成的推論の限界を特定し、ゼロショット多ステップ性能を向上させるスケーラブルな訓練手法を提案すること。

提案手法

• ヒューリスティック手法を用いて多ステップQA質問を単一ステップ質問の連鎖に分解し、モデルの整合性を調査する。
• 連結された単一ステップ質問で学習させることで、多ステップ推論のパターンを近似する生成的QAモデル（UnifiedQAおよびRAG）を訓練する。
• 多ステップ質問から導出されたSPARQLクエリでモデルを微調整し、明示的な構成的推論構造を学習させる。
• 連結された自然言語質問とSPARQLの両方の監視信号を統合して、ゼロショット多ステップ推論を共同で向上させる。
• 事前学習済み言語モデルをシーケンス・トゥ・シーケンス生成に用い、質問埋め込みと文脈（オープンブック設定）に基づいて回答を生成する。
• 微調整後、単一ステップおよび多ステップ質問の両方でテストを行い、ゼロショットベースラインと比較して一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 分解された単一ステップ質問の正しさが、多ステップ質問の正しさにとって必要かつ十分な条件であるか？
• RQ2 生成的QAモデルにおいて、多ステップ質問とその成分である単一ステップ質問の回答が一貫しているか？
• RQ3 単一ステップ質問のみで学習したモデルが、多ステップ質問に対してゼロショット一般化を示すか？
• RQ4 連結された単一ステップ質問やSPARQL論理形式による多ステップ質問の近似で、ゼロショット多ステップ推論能力が向上するか？
• RQ5 SPARQLクエリの実行を学習させることで、自然言語の多ステップ質問でのパフォーマンスが向上するか？

主な発見

• 生成的QAモデルは、分解された単一ステップ質問とそれに対応する多ステップ質問の間で著しい不整合を示しており、信頼できる多ステップ推論ではなく、誤った推論を示していることが判明した。
• 単一ステップ質問でのみ学習したモデルは、多ステップ質問へのゼロショット一般化が著しく劣っており、クローズドブック（UnifiedQA）およびオープンブック（RAG）の両設定で性能が著しく低下した。
• 連結された単一ステップ質問で学習させることで、ゼロショット多ステップ性能が向上し、UnifiedQAではComplexWebQuestionsで25.69 F1を達成、RAGでは53.93を達成した。これは、この手法が多ステップ推論の有効な近似であることを示している。
• SPARQLクエリで微調整することで、モデルは自然言語の多ステップ質問への一般化が可能となり、自然言語多ステップ質問で学習した場合と比較してF1スコアが7〜15ポイントの低下にとどまった。これは、強い転送性を示している。
• 連結された自然言語質問とSPARQLの両方の監視信号を組み合わせることでさらなる向上が得られ、UnifiedQAのF1は多段階質問で27.14に上昇した。これは相乗効果が得られていることを示している。
• 改善は見られたが、実際の多段階自然言語質問で微調整したモデルと比較して、依然として大きなパフォーマンスギャップが存在しており、より良い近似法やモデリング手法の開発が求められていることを示している。