[論文レビュー] DR-RAG: Applying Dynamic Document Relevance to Retrieval-Augmented Generation for Question-Answering

Zijian Hei, Weiling Liu+6 more|arXiv (Cornell University)|Jun 11, 2024

Topic Modeling被引用数 4

ひとこと要約

DR-RAGは、動的関連ドキュメント（動的）と高い関連性を持つ静的ドキュメント（静的）を動的に同定することで、マルチホップQAにおける回答の正確性を向上させる二段階のリtrieval-augmented generationフレームワークを提案する。クエリ-ドキュメントの関連性に基づいてドキュメントをフィルタリング・選択するコンactな分類器を用いることで、DR-RAGはリtrievalの再現率と回答の正確性を向上させつつ、LLMを一度しか呼び出さないため、マルチホップQAベンチマークで最先端の結果を達成している。

ABSTRACT

Retrieval-Augmented Generation (RAG) has recently demonstrated the performance of Large Language Models (LLMs) in the knowledge-intensive tasks such as Question-Answering (QA). RAG expands the query context by incorporating external knowledge bases to enhance the response accuracy. However, it would be inefficient to access LLMs multiple times for each query and unreliable to retrieve all the relevant documents by a single query. We have found that even though there is low relevance between some critical documents and query, it is possible to retrieve the remaining documents by combining parts of the documents with the query. To mine the relevance, a two-stage retrieval framework called Dynamic-Relevant Retrieval-Augmented Generation (DR-RAG) is proposed to improve document retrieval recall and the accuracy of answers while maintaining efficiency. Additionally, a compact classifier is applied to two different selection strategies to determine the contribution of the retrieved documents to answering the query and retrieve the relatively relevant documents. Meanwhile, DR-RAG call the LLMs only once, which significantly improves the efficiency of the experiment. The experimental results on multi-hop QA datasets show that DR-RAG can significantly improve the accuracy of the answers and achieve new progress in QA systems.

研究の動機と目的

• マルチホップQAにおける低関連性だが重要なドキュメントを検索するという、従来のRAGシステムの限界を解消すること。
• 静的関連ドキュメントと動的関連ドキュメントを区別することで、リtrievalの再現率と回答の正確性を向上させること。
• 不要なまたは関連性の低いドキュメントの検索を最小限に抑えることで、非効率性と幻覚を低減すること。
• 二段階のリtrievalと分類器に基づく選択戦略により、1クエリあたりLLMを一度しか呼び出さないことで、高い効率性を維持すること。

提案手法

• 二段階のリtrievalフレームワーク：まず、クエリ埋め込みに基づいて類似度マッチングにより初期のドキュメントセットを取得する。
• 第二段階では、クエリ-ドキュメントの連結を用いて、特に動的関連ドキュメントにおける深い関連性を特定する。
• コンパクトな分類器が事前に定義された閾値を用いてドキュメントの関連性を評価し、回答生成への寄与を判断する。
• 前向き選択および逆選択の2つの選択戦略を適用して、取得されたドキュメントセットを最適化し、重複を低減する。
• 最終的なドキュメントセットは、LLMに一度だけ入力されるため、推論効率が高く保たれる。
• 動的関連性の抽出をRAGに統合することで、複雑なマルチホップQAタスクにおける性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 二段階のリtrievalアプローチは、マルチホップQAにおいて、低関連性だが重要なドキュメントの再現率を向上させることができるか？
• RQ2 RAGにおいて、クエリとドキュメント間の動的関連性を効果的に測定・活用する方法は何か？
• RQ3 推論コストを増加させずに、軽量な分類器がドキュメント選択をどれほど改善できるか？
• RQ4 不要なドキュメントの検索を減らすことで、LLMベースのQAシステムにおける回答の正確性は向上するか？
• RQ5 知的なドキュメント検索とフィルタリングを組み合わせた1回のLLM呼び出しで、最先端のパフォーマンスを達成できるか？

主な発見

• DR-RAGは、標準的なRAGが見過ごしがちな動的関連ドキュメントを効果的に検索することで、マルチホップQAデータセットにおける回答の正確性を顕著に向上させた。
• 特に複雑なマルチホップ質問において、ベースラインのRAGやクエリ依存リtrieval（QDC）手法と比較して、より高いリtrieval再現率を達成した。
• 前向き選択および逆選択戦略を用いたコンパクトな分類器の活用により、不適切なドキュメントの含む割合が減少し、回答品質が向上した。
• LLMを一度しか呼び出さないことで、DR-RAGは推論効率を高く維持しながら、複数回呼び出しを行うRAGベースラインを上回った。
• HotpotQAにおけるケーススタディでは、DR-RAGは他の手法が直接関連性が低いと判断して同定に失敗するケース（例：Caroline LeRoyの配偶者）においても、必要なドキュメントを正しく取得した。
• DR-RAGはマルチホップQAベンチマークで最先端のパフォーマンスを示し、LLMベースの質問応答システム分野における新たな進展を示した。