[論文レビュー] Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs

Jiejun Tan, Zhicheng Dou+4 more|arXiv (Cornell University)|Feb 19, 2024

Private Equity and Venture Capital被引用数 4

ひとこと要約

この論文では、大規模言語モデル（LLM）のための知識抽出タイミングと内容を決定するために、小さなプロキシ言語モデルを用いるSlimPLMという手法を提案している。この手法により、不要な検索を回避し、推論コストを低減できる。プロキシモデルからヒューリスティックな答えを生成することで、欠落している知識を特定し、的を射た検索クエリを策定する。SlimPLMは、5つの質問応答データセットで最先端の性能を達成し、LLMの推論コストを低く抑えている。

ABSTRACT

The integration of large language models (LLMs) and search engines represents a significant evolution in knowledge acquisition methodologies. However, determining the knowledge that an LLM already possesses and the knowledge that requires the help of a search engine remains an unresolved issue. Most existing methods solve this problem through the results of preliminary answers or reasoning done by the LLM itself, but this incurs excessively high computational costs. This paper introduces a novel collaborative approach, namely SlimPLM, that detects missing knowledge in LLMs with a slim proxy model, to enhance the LLM's knowledge acquisition process. We employ a proxy model which has far fewer parameters, and take its answers as heuristic answers. Heuristic answers are then utilized to predict the knowledge required to answer the user question, as well as the known and unknown knowledge within the LLM. We only conduct retrieval for the missing knowledge in questions that the LLM does not know. Extensive experimental results on five datasets with two LLMs demonstrate a notable improvement in the end-to-end performance of LLMs in question-answering tasks, achieving or surpassing current state-of-the-art models with lower LLM inference costs.

研究の動機と目的

• LLMに対して検索が必要かどうかを判断する課題に対処し、無駄な計算や関係のない結果を回避すること。
• 複数回のLLM推論に依存する従来の検索拡張生成（RAG）手法の高い計算コストを低減すること。
• 軽量なプロキシモデルを用いて知識ギャップを特定することで、LLMベースの質問応答の正確性と効率性を向上させること。
• 欠落している知識に対してのみ、選択的かつ的を射た検索を実行し、遅延とリソース使用量を最小限に抑えること。

提案手法

• 主なLLMよりもはるかに少ないパラメータ数を持つスリムなプロキシ言語モデルを用い、各ユーザーの質問に対してヒューリスティックな答えを生成する。
• 軽量なモデルを用いてヒューリスティックな答えの品質を評価し、検索が必要かどうかを判断する。
• 高品質なヒューリスティックな答えは、LLMが十分な知識を既に保有していることを示し、検索を回避する。低品質な答えは検索をトリガーする。
• ヒューリスティックな答えを、特定の知識ギャップを反映する部分質問に分解し、それらをもとに的を射た検索クエリを生成する。
• 検索を必要とするクエリのみを検索システムに渡すことで、関連性が高く、的を射た知識取得を保証する。
• 最小限の計算オーバーヘッドで、主なLLMのファインチューニングを一切行わずに、既存のRAGフレームワークに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 小さなプロキシモデルは、大規模言語モデルの知識ギャップを効果的に検出できるか？
• RQ2 プロキシモデルを用いることで、検索拡張生成の計算コストを低減しつつ、パフォーマンスを維持または向上できるか？
• RQ3 小さなモデルが生成するヒューリスティックな答えが、欠落している知識のための正確な検索クエリを導くことができるか？
• RQ4 SlimPLMのパフォーマンスは、最先端のRAG手法と比較して、正確性と推論コストの面で優れているか？
• RQ5 プロキシモデルが、多様な質問応答データセットにおいて、検索の必要性を安定して評価できるか？

主な発見

• SlimPLMは、小さなプロキシモデルと最小限のLLM推論のみを用いて、5つのベンチマーク質問応答データセットで最先端のパフォーマンスを達成した。
• LLMが独立して回答可能な質問に対しては検索を回避することで、LLMの推論コストを削減した。
• プロキシモデルのヒューリスティックな答えは、知識ギャップを効果的に特定できており、検索が必要かどうかを検出する際の整合性が非常に高かった。
• 部分質問からの的を射たクエリ生成により、検索の関連性と後続の回答品質が向上した。
• 低遅延と計算オーバーヘッドを維持したまま、リアルタイムアプリケーションに適した。
• 実験結果から、特に幻覚現象と検索ノイズの低減において、ベースラインのRAG手法に比べ顕著なパフォーマンス向上が得られた。