[論文レビュー] SAIL: Search-Augmented Instruction Learning

Hongyin Luo, Yung-Sung Chuang+7 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 6

ひとこと要約

SAILは、外部および社内検索エンジンから得られるノイズの多い現実世界の検索結果に大規模言語モデルの応答を根拠づける、検索拡張型のインstructチューニングフレームワークを提案する。SAIL-7Bは、(インstruct、検索結果、応答)トリプルで構成される洗練されたコーパスに対してLLaMA-7Bを微調整することで、透明性が求められるタスク、例えば開かれた形式の質問応答や事実確認において、GPT-3.5-Turbo や Vicuna-13B といった強力なベースラインを上回る優れた性能を達成する。

ABSTRACT

Large language models (LLMs) have been significantly improved by instruction fine-tuning, but still lack transparency and the ability to utilize up-to-date knowledge and information. In this work, we propose search-augmented instruction learning (SAIL), which grounds the language generation and instruction following abilities on complex search results generated by in-house and external search engines. With an instruction tuning corpus, we collect search results for each training case from different search APIs and domains, and construct a new search-grounded training set containing extit{(instruction, grounding information, response)} triplets. We then fine-tune the LLaMA-7B model on the constructed training set. Since the collected results contain unrelated and disputing languages, the model needs to learn to ground on trustworthy search results, filter out distracting passages, and generate the target response. The search result-denoising process entails explicit trustworthy information selection and multi-hop reasoning, since the retrieved passages might be informative but not contain the instruction-following answer. Experiments show that the fine-tuned SAIL-7B model has a strong instruction-following ability, and it performs significantly better on transparency-sensitive tasks, including open-ended question answering and fact checking.

研究の動機と目的

• インstructチューニング済みLLMにおける透明性の欠如と最新知識の不足に対処する。
• Wikipediaなどの静的知識ベースやノイズの多い商用検索結果の限界を克服する。
• LLMが応答を信頼できる情報に根拠づける一方で、迷惑なまたは誤った検索結果を除外できる方法を開発する。
• 開かれた形式の質問応答や事実確認のような透明性が求められるタスクにおける性能を向上させる。
• 訓練用に耐性があり信頼性の高いLLMを学習できる、現実世界の検索結果に基づいた新しいインstructチューニングデータセットを構築する。

提案手法

• インstructチューニングデータセット内の各インストラクションについて、社内（BM25を用いたWikipedia経由）および外部（商用）検索エンジンから検索結果を収集する。
• 検索結果を含む「インストラクション、根拠情報、応答」のトリプルで構成される新しいトレーニングコーパスを構築する。
• ノイズの多い文章を横断的に処理し、信頼できる情報を選別する能力を学習できるように、LLaMA-7Bモデルをこの検索根拠付きデータセットで微調整する。
• 応答生成中に不要または矛盾する文章を特定・除外できる、検索結果のノイズ除去プロセスを実装する。
• トレーニングデータの応答に高品質なものを生成するためにGPT-4を活用し、インストラクションと応答の整合性を保証する。
• 動的でリアルタイムの検索入力を活用しながら、自然言語インストラクションに従う能力を向上させるために、インストラクションチューニングを活用する。

Figure 1: Fact checking grounding on complicated search results with SAIL-7B and strong commercial language models. The first and third passages are distracting since they do not contain information that supports or refutes the claim, while the second passage disagrees with the claim. SAIL-7b Succes

実験結果

リサーチクエスチョン

• RQ1 ノイズの多い現実世界の検索結果に根拠づけることで、大規模言語モデルがインストラクションに効果的に従えるか？
• RQ2 多様で矛盾する可能性のある検索結果にLLMを根拠づけると、透明性が求められるタスクにおける性能にどのような影響を与えるか？
• RQ3 検索拡張型のインストラクションチューニング済みモデルは、標準的なインストラクションチューニング済みモデルや商用LLMに比べて、事実確認および開かれた形式の質問応答においてどの程度優れているか？
• RQ4 閉鎖的で静的知識ベースに依存せずに、複数の検索結果をノイズ除去し、信頼できる情報を抽出する能力をモデルが学習できるか？
• RQ5 インストラクションチューニングにリアルタイムの検索結果を統合することで、LLMが出力する信頼性と説明可能性が向上するか？

主な発見

• SAIL-7Bは、開かれた形式の質問応答および事実確認タスクにおいて、GPT-3.5-Turbo や Vicuna-13B といった強力なベースラインを顕著に上回る性能を発揮する。
• モデルは、誘導的な内容が含まれても、迷惑なまたは矛盾する検索結果を効果的に除外し、信頼できる情報を正しく特定する強靭性を示す。
• SAIL-7Bは、静的知識ベースではなくリアルタイムで動的である検索結果に根拠づけられているため、透明性が求められるタスクで高い性能を発揮する。
• 検索結果のノイズ除去プロセスにより、マルチホップ推論と信頼できる情報選別が可能となり、正確な応答生成に不可欠な要素が実現される。
• インストラクションチューニングとリtrieval根拠づけの両方が組み合わさることで、モデルの性能が向上し、両者が高品質なインストラクション従いを実現するために不可欠であることが実証された。
• 実験により、インストラクションチューニング済みLLMが誤った検索結果に極めて脆弱であることが確認され、専用のノイズ除去および根拠づけメカニズムの必要性が裏付けられた。

Figure 2: Different prompting strategies used in this work. (a) Standard prompt : the prompt template used in Peng et al. ( 2023 ) to generate GPT-4 responses to the 52k instructions. (b) Search-augmented prompt : combining the top three search results and the instruction.