[論文レビュー] Towards Trustworthy Retrieval Augmented Generation for Large Language Models: A Survey

Bo Ni, Zheyuan Liu+18 more|ArXiv.org|Feb 8, 2025

Topic Modeling被引用数 3

ひとこと要約

この調査は大規模言語モデルにおける信頼性の高い Retrieval Augmented Generation (RAG) の包括的なロードマップを提供し、信頼性の六つの柱にわたる枠組み、分類法、評価アプローチ、将来の方向性を詳述する。

ABSTRACT

Retrieval-Augmented Generation (RAG) is an advanced technique designed to address the challenges of Artificial Intelligence-Generated Content (AIGC). By integrating context retrieval into content generation, RAG provides reliable and up-to-date external knowledge, reduces hallucinations, and ensures relevant context across a wide range of tasks. However, despite RAG's success and potential, recent studies have shown that the RAG paradigm also introduces new risks, including robustness issues, privacy concerns, adversarial attacks, and accountability issues. Addressing these risks is critical for future applications of RAG systems, as they directly impact their trustworthiness. Although various methods have been developed to improve the trustworthiness of RAG methods, there is a lack of a unified perspective and framework for research in this topic. Thus, in this paper, we aim to address this gap by providing a comprehensive roadmap for developing trustworthy RAG systems. We place our discussion around five key perspectives: reliability, privacy, safety, fairness, explainability, and accountability. For each perspective, we present a general framework and taxonomy, offering a structured approach to understanding the current challenges, evaluating existing solutions, and identifying promising future research directions. To encourage broader adoption and innovation, we also highlight the downstream applications where trustworthy RAG systems have a significant impact.

研究の動機と目的

• RAGベースのLLMに対して信頼性、プライバシー、安全性、公平性、説明可能性、説明責任を含む統一的な信頼性フレームワークを導入する。
• 各柱の課題と解決策の分類法と構造化された議論を提供する。
• 将来の研究開発を指針づけるために、既存の方法、評価指標、および現実世界の応用を調査する。

提案手法

• 信頼できるRAGに関する文献を六つの柱で体系的にレビューし、カテゴリ分けする。
• RAGにおける信頼性、プライバシー、安全性、公平性、説明可能性、説明責任の分類法を構築する。
• 各柱の評価指標とリスク領域を分析し、将来の研究方向を提案する。
• 信頼できるRAGが大きな影響を与える可能性のある下流の応用を強調する。
• 透明性のために収集作業と枠組みを含むGitHubリポジトリを参照する。

実験結果

リサーチクエスチョン

• RQ1 RAGシステムにおける信頼性、プライバシー、安全性、公平性、説明可能性、説明責任の中核課題は何か。
• RQ2 開発ライフサイクル全体で現在の信頼できるRAGアプローチを最もよく整理する枠組みと分類法は何か。
• RQ3 信頼できるRAGシステムはどのように評価され、評価手法にはどのようなギャップがあるか。
• RQ4 信頼できるRAGを進展させるための主要な将来の方向性と実践的応用は何か。
• RQ5 検索・補強・生成はRAGパイプラインの信頼性にどのように影響し合うか。

主な発見

• 本論文はRAGシステムの六つの信頼性柱に関する包括的な分類法とフレームワークを提供する。
• 信頼性、プライバシー、安全性、公平性、説明可能性、説明責任の各分野における現在の方法と評価を統合する。
• 不確実性、ロバストな一般化、複数部品の較正を中核的な信頼性の懸念として論じる。
• 外部の検索データベースと訓練データの漏洩から生じるプライバシーリスクを強調し、評価上の配慮を提案する。
• 安全性、公平性、説明可能性、説明責任の課題と関連する評価プロトコルを検討する。
• 信頼できるRAGのより広範な採用と責任ある展開を促進するギャップと将来の方向性を特定する。