[論文レビュー] SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs

Jaehyung Kim, Jaehyun Nam+6 more|arXiv (Cornell University)|Apr 17, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

SuReは、リトリーブされた本文の候補条件付き要約を生成することで、オープンドメイン質問応答（ODQA）の回答の根拠付けと正確性を向上させるゼロショットプロンプティングフレームワークを提案する。要約の妥当性と相対的な情報量を評価することで、標準的なプロンプティングに比べてF1スコアを最大4.0%、正確一致（EM）を最大4.6%向上させ、大規模言語モデル（LLM）およびリトリーブ手法の両方で優れた汎化性能を示す。

ABSTRACT

Large language models (LLMs) have made significant advancements in various natural language processing tasks, including question answering (QA) tasks. While incorporating new information with the retrieval of relevant passages is a promising way to improve QA with LLMs, the existing methods often require additional fine-tuning which becomes infeasible with recent LLMs. Augmenting retrieved passages via prompting has the potential to address this limitation, but this direction has been limitedly explored. To this end, we design a simple yet effective framework to enhance open-domain QA (ODQA) with LLMs, based on the summarized retrieval (SuRe). SuRe helps LLMs predict more accurate answers for a given question, which are well-supported by the summarized retrieval that could be viewed as an explicit rationale extracted from the retrieved passages. Specifically, SuRe first constructs summaries of the retrieved passages for each of the multiple answer candidates. Then, SuRe confirms the most plausible answer from the candidate set by evaluating the validity and ranking of the generated summaries. Experimental results on diverse ODQA benchmarks demonstrate the superiority of SuRe, with improvements of up to 4.6% in exact match (EM) and 4.0% in F1 score over standard prompting approaches. SuRe also can be integrated with a broad range of retrieval methods and LLMs. Finally, the generated summaries from SuRe show additional advantages to measure the importance of retrieved passages and serve as more preferred rationales by models and humans.

研究の動機と目的

• リトリーブ拡張型LLMにおける標準的プロンプティングの限界、すなわち長文のコンテキストを効果的に活用できないこと、関連情報を抽出できないことに対処すること。
• 回答候補に条件づけられた推論風の要約を生成することで、オープンドメインQAにおける回答の根拠付けを強化し、幻覚を低減すること。
• 微調整を必要とせず、ブラックボックスLLM APIやさまざまなリトリーブ手法と互換性を持つゼロショット、プラグアンドプレイのフレームワークを開発すること。
• 生成された要約がモデルおよび人間の解釈のためのより良い推論プロセスとして機能するかどうかを評価すること。

提案手法

• SuReは、リトリーブされた本文に対して、異なる回答候補に条件づけられた複数の要約を構築し、関連するコンテキストに焦点を当てる。
• 大規模言語モデル（LLM）を用いて、各候補-要約ペアの妥当性を評価し、要約が候補を支持しているかどうかを判断する。
• LLMを用いたペairワイズ比較により、質問に対する回答の情報量に基づいて、候補要約をランク付けする。
• 最終的な回答は、最もランクが高くかつ妥当性の高い要約に基づいて選択され、予測の根拠（推論）として機能する。
• すべてのステップはゼロショットプロンプティングで実行され、微調整や少々の例示は不要である。
• 本手法は、さまざまなリトリーブ手法（例：BM25、DPR、Contriever）およびLLM（例：GPT-4、ChatGPT、LLaMA-2）と互換性がある。

実験結果

リサーチクエスチョン

• RQ1 回答候補に条件づけられた要約は、LLMを用いたゼロショットオープンドメインQAの正確性を向上させることができるか？
• RQ2 ゼロショットプロンプティングで生成された要約は、一般の要約よりも信頼性が高く、解釈がしやすい推論として機能するか？
• RQ3 微調整なしで、多様なリトリーブ手法およびLLMにおいて、SuReはどの程度の性能を示すか？
• RQ4 生成された要約を用いて、リトリーブされた本文の重要度を測定できるか？
• RQ5 SuReは、QAシステムにおけるモデルおよび人間の推論の好みを向上させるか？

主な発見

• SuReは、4つのODQAベンチマークで標準的プロンプティングに比べ、正確一致（EM）を最大4.6%、F1スコアを最大4.0%向上させた。
• ChatGPTとBM25を用いた場合、SuReはリtrieval拡張なしの状態に比べて12.8%のゼロショットQA精度向上を達成した。
• 本手法は、さまざまなLLM（例：GPT-4、LLaMA-2、ChatGPT）およびリトリーブ手法（BM25、DPR、Contriever）において、良好な汎化性能を示した。
• SuReが生成する要約は、一般の要約と比較して、情報量が多く、モデルおよび人間の両方から好まれる傾向にある。
• 要約は、最も関連性の高いリトリーブされた本文を効果的に特定・ランク付けでき、解釈可能性と重要度評価を可能にする。
• Chain-of-Thought、Self-Verification、RePlugといった強力なベースラインと比較しても、すべてのデータセットでSuReが優れており、EMおよびF1スコアで一貫した向上を示した。