[論文レビュー] Optimizing Query Generation for Enhanced Document Retrieval in RAG

Hae‐Won Koo, Minseon Kim+1 more|arXiv (Cornell University)|Jul 17, 2024

Data Management and Algorithms被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLM）を用いてクエリを精錬し、トップ-kの平均クエリ-ドキュメント整合性スコアを用いて、リtrieval-Augmented Generation（RAG）におけるドキュメント検索を向上させるクエリ最適化フレームワークQOQAを提案する。繰り返し検出されたドキュメントと整合性スコアに基づいてクエリを再表現することで、検索精度が向上し、複数のデータセットで平均1.6%の精度向上を達成した。これにより、LLMによる出力における幻覚が低減された。

ABSTRACT

Large Language Models (LLMs) excel in various language tasks but they often generate incorrect information, a phenomenon known as "hallucinations". Retrieval-Augmented Generation (RAG) aims to mitigate this by using document retrieval for accurate responses. However, RAG still faces hallucinations due to vague queries. This study aims to improve RAG by optimizing query generation with a query-document alignment score, refining queries using LLMs for better precision and efficiency of document retrieval. Experiments have shown that our approach improves document retrieval, resulting in an average accuracy gain of 1.6%.

研究の動機と目的

• 曖昧または不確かすぎるクエリが原因で生じるRAGシステム内の幻覚を是正すること。
• クエリ生成の精錬を通じて、ドキュメント検索の精度と効率を向上させること。
• 反復的なクエリ最適化により、曖昧な元のクエリへの依存度を低減すること。
• クエリ精錬のためのクエリ-ドキュメント整合性スコアを用いて、検索パフォーマンスを向上させること。
• クエリ最適化が、多様な検索ベンチマークにおいて検索精度を顕著に向上させることを実証すること。

提案手法

• 本手法は、元のクエリに対して上位-N件のドキュメントを検索するリトリーバーを使用する。
• 元のクエリと上位-N件のドキュメントを連結し、それをLLMに入力してR₀の再表現クエリを生成する。
• 各再表現クエリについて、検出されたドキュメントとの整合性スコアを検索モデルを用いて算出し、平均整合性スコアに基づいて上位-K件のクエリを選択する。
• プロンプトテンプレートを動的に更新し、元のクエリ、検出されたドキュメント、および上位-K件の再表現クエリを含める。これにより反復的最適化を実現する。
• 最適化は最大50イタレーションにわたり実行され、各ステップで最新の整合性スコアを用いてクエリを精錬する。
• 本手法はスパース（BM25）およびディンス（BGE-base-en-v1.5）の両方の検索モデルを統合しており、寄与度のアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 LLMと整合性スコアを用いた反復的クエリ最適化は、RAGシステムにおける検索精度を向上させることができるか？
• RQ2 検出されたドキュメントを用いたクエリ拡張は、直接的なクエリ再表現と比較して、検索パフォーマンスにどのように影響するか？
• RQ3 クエリ最適化が、検索品質の向上を通じて、LLM出力における幻覚をどの程度低減するか？
• RQ4 QOQAフレームワークにおける拡張部と最適化部の相対的寄与度は何か？
• RQ5 提案手法は、異なる検索モデルやベンチマークデータセットにおいて一般化可能か？

主な発見

• QOQAは複数の検索ベンチマークで平均1.6%の精度向上を達成し、一貫した改善を示した。
• SciFactデータセットでは、QOQA（BM25スコア）がnDCG@10で75.4を達成し、ベースラインモデルを上回った。
• アブレーションスタディの結果、拡張部を削除すると、特にBM25スコアの設定でパフォーマンスが著しく低下した。
• 最適化ステップ自体が検索パフォーマンスを向上させたことから、反復的精錬がクエリ品質の向上に寄与することが示された。
• ケーススタディにより、QOQAが生成したクエリには「nano」や「molecular evidence」などのより正確なキーワードが含まれており、関連ドキュメントとの整合性が向上していることが確認された。
• 本手法はスパースおよびディンス検索設定の両方で優れたパフォーマンスを示し、その堅牢性が検証された。