[論文レビュー] Trustworthiness in Retrieval-Augmented Generation Systems: A Survey

Yujia Zhou, Yan Liu+8 more|arXiv (Cornell University)|Sep 16, 2024

Caching and Content Delivery被引用数 9

ひとこと要約

包括的なフレームワークとベンチマーク：取得強化生成（RAG）システムの信頼性を六つの次元（事実性、頑健性、公平性、透明性、説明責任、プライバシー）で評価

ABSTRACT

Retrieval-Augmented Generation (RAG) has quickly grown into a pivotal paradigm in the development of Large Language Models (LLMs). While much of the current research in this field focuses on performance optimization, particularly in terms of accuracy and efficiency, the trustworthiness of RAG systems remains an area still under exploration. From a positive perspective, RAG systems are promising to enhance LLMs by providing them with useful and up-to-date knowledge from vast external databases, thereby mitigating the long-standing problem of hallucination. While from a negative perspective, RAG systems are at the risk of generating undesirable contents if the retrieved information is either inappropriate or poorly utilized. To address these concerns, we propose a unified framework that assesses the trustworthiness of RAG systems across six key dimensions: factuality, robustness, fairness, transparency, accountability, and privacy. Within this framework, we thoroughly review the existing literature on each dimension. Additionally, we create the evaluation benchmark regarding the six dimensions and conduct comprehensive evaluations for a variety of proprietary and open-source models. Finally, we identify the potential challenges for future research based on our investigation results. Through this work, we aim to lay a structured foundation for future investigations and provide practical insights for enhancing the trustworthiness of RAG systems in real-world applications.

研究の動機と目的

• RAGシステムにおける信頼性の六次元統一フレームワークを定義する（事実性、頑健性、公平性、透明性、説明責任、プライバシー）。
• RAGの各次元に関する既存文献を調査する。
• 実用的なベンチマークを構築してLLMを横断して信頼性を評価し、今後のRAG開発の実践的ガイダンスを提供する。

提案手法

• 六つの信頼性次元を提案し、それらを統一RAG評価フレームワークに組み込む。
• 既存文献を調査し、次元、手法タイプ、対象ごとにアプローチを分類する。
• 六つの次元を横断して、商用・オープンソースを含む十のLLMを評価するベンチマークを構築・適用する。
• 事実性、頑健性、公平性、透明性、説明責任、プライバシーに関する代表的な手法と知見をレビューする。
• 2024年7月までの信頼性研究のタイムラインを示し、ギャップと機会を要約する。

実験結果

リサーチクエスチョン

• RQ1 RAGシステムの信頼性フレームワークとしてどの六つの次元が網羅的か。
• RQ2 既存の手法はRAGの文脈で各次元にどのように対応しているか。
• RQ3 RAG設定における事実性、頑健性、公平性、透明性、説明責任、プライバシーの各点で異なるLLMはどのように性能を発揮するか。
• RQ4 RAGの信頼性を測るためにどのようなベンチマークと評価手法が有効か。
• RQ5 信頼性の高いRAG展開を強化する課題と今後の研究方向は何か。

主な発見

• 六つの信頼性次元を備えた統一フレームワークがRAGシステムのために提案される。
• 文献調査は六つの次元すべてにわたるギャップと有望な方向性を浮き彫りにする。
• 信頼性の側面を評価するためのベンチマークフレームワークが確立され、十のLLMの信頼性を横断的に評価するために適用される。
• 代表的な手法は、RAGにおける事実性、頑健性、説明責任、プライバシーの改善に向けたアプローチを示す。
• 信頼性の高いRAG展開を強化するための課題と今後の研究方向を特定する。