[論文レビュー] Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensive Tasks

Shicheng Xu, Liang Pang+3 more|arXiv (Cornell University)|Apr 28, 2023

Data Quality and Management被引用数 7

ひとこと要約

本論文は、動的で木構造的な推論プロセスを介してインタラクティブな検索を統合することで、知識集約的タスクにおける大規模言語モデル（LLMs）の性能を向上させるフレームワーク、Search-in-the-Chain（SearChain）を提案する。SearChainは、LLMsが信頼度に基づくフィードバックにより答えを検証・是正するか、欠落した知識を供給するGlobal Chain-of-Query（CoQ）を生成可能にし、正確性、信頼性、追跡可能性を向上させる。このフレームワークは、マルチホップQA、事実検証、長文生成タスクにおいてベースラインを上回る性能を示した。

ABSTRACT

Making the content generated by Large Language Model (LLM), accurate, credible and traceable is crucial, especially in complex knowledge-intensive tasks that require multi-step reasoning and each step needs knowledge to solve. Retrieval-augmented generation is good potential to solve this problem. However, where and how to introduce Information Retrieval (IR) to LLM is a big challenge. Previous work has the problems that wrong knowledge retrieved by IR misleads the LLM and interaction between IR and LLM breaks the reasoning chain of LLM. This paper proposes a novel framework named extbf{Search-in-the-Chain} (SearChain) for the interaction between LLM and IR to solve the challenges. First, LLM generates the reasoning chain named Chain-of-Query (CoQ) where each node consists of an IR-oriented query-answer pair. Second, IR verifies the answer of each node of CoQ. It corrects the answer that is not consistent with the retrieved information when IR gives high confidence, which improves the credibility. Third, LLM can indicate its missing knowledge in CoQ and rely on IR to provide this knowledge to LLM. These operations improve the accuracy in terms of reasoning and knowledge. Finally, SearChain generates the reasoning process and marks references to supporting documents for each reasoning step, which improves traceability. Interaction with IR in SearChain forms a novel reasoning path based on a tree, which enables LLM to dynamically modify the direction of reasoning. Experiments show that SearChain outperforms state-of-the-art baselines on complex knowledge-intensive tasks including multi-hop Q\&A, slot filling, fact checking, and long-form Q\&A.

研究の動機と目的

• マルチステップの知識集約的推論中に推論チェーンの整合性を保つことや、幻覚現象を回避するという、既存の検索拡張型LLMsの限界に対処すること。
• 高信頼度の証拠が出力と矛盾する場合に、IRがLLMの答えを検証・是正できる仕組みを提供することで、LLM出力の信頼性を向上させること。
• LLMが明示的にフラグを立てた場合にのみ、IRが欠落した情報を供給することで、モデルを誤導するリスクを低減し、知識獲得を強化すること。
• 各推論ステップに対して支援文書への参照をマークすることで、生成コンテンツの細粒度な監査可能性を向上させ、追跡可能性を高めること。
• 推論トポロジーを線形チェーンから木構造に変更し、IRフィードバックに基づいてLLMが推論経路を動的に修正できるようにすること。

提案手法

• 各ノードにIR最適化クエリ、LLM生成の答え、外部知識の必要性を示すフラグを含む、Chain-of-Query（CoQ）構造を提案する。
• LLMとIRの間で複数ラウンドのインタラクションループを導入する：各ラウンドで、IRは外部知識を用いて答えを検証し、信頼度が高い場合に是正または欠落した事実を提供する。
• IRの信頼度スコアとCoQフラグを用いて、LLMの答えを是正するか、欠落した知識を供給するかを判断し、関連性と信頼性の高い情報のみを統合する。
• 是正や補完の結果を受け取った際、LLMが新しい分岐を含むCoQを再生成できるようにし、推論トポロジーをチェーンから木構造に変更することで、動的経路修正を可能にする。
• 各推論ステップに対して支援文書への参照を明示した最終出力を生成することで、透明性と監査可能性を向上させる。
• 事前例示学習を活用し、IR連携を開始する前にLLMがグローバルな推論経路を計画できるようにすることで、推論の一貫性とスケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 推論チェーンを破壊したり、幻覚的知識を導入したりせずに、検索をLLM推論に統合する方法は何か？
• RQ2 信頼度に基づくIRフィードバックは、マルチステップ推論タスクにおけるLLM出力の信頼性を向上させ得るか？
• RQ3 インタラクティブ検索は、マルチホップQA や事実検証のような複雑な知識集約的タスクにおけるLLMの正確性をどの程度向上させ得るか？
• RQ4 SearChainにおける木構造的推論は、解けない部分問題や推論の止まり処理を扱う際に、線形チェーンと比較してどのように優れているか？
• RQ5 各推論ステップに対して支援文書への参照をマークすることで、SearChainは細粒度の追跡可能性を達成できるか？

主な発見

• SearChainは、マルチホップQA、スロットフィルティング、事実検証、長文QAタスクにおいてベースラインを上回り、優れた正確性と推論の頑健性を示した。
• Musiqueデータセットにおいて、SearChainは2ホップ、3ホップ、4ホップの質問に対して、それぞれ平均4.16、4.66、5.06の推論ステップを達成し、質問の複雑さを的確に把握していることを示した。
• SearChainはIRがLLMのパフォーマンスに与える悪影響を軽減した：IR統合後、誤った答えが生じた質問はわずか1.2%にとどまり、誤った検索の影響を効果的に抑制した。
• 追跡可能性評価では、SearChainはすべての正しいCoQノードに対して参照をマークしたが、New Bingはすべての知識源をカバーできず、しばしば関連ドキュメントを漏らした。
• 入力トークン数とインタラクションラウンド数の増加がわずかであり、計算コストの増加を抑えることができたため、実用的な計算オーバーヘッドであった。
• 事例研究では、SearChainは解けない部分問題を再定式化して推論を継続するが、CoT や Self-Ask はしばしば早期に終了するのと対照的であった。