[논문 리뷰] Trustworthiness in Retrieval-Augmented Generation Systems: A Survey

Yujia Zhou, Yan Liu외 8명|arXiv (Cornell University)|2024. 09. 16.

Caching and Content Delivery인용 수 9

한 줄 요약

RAG 시스템의 신뢰성을 여섯 가지 차원으로 평가하기 위한 포괄적 프레임워크와 벤치마크: 사실성, 강건성, 공정성, 투명성, 책임성, 프라이버시.

ABSTRACT

Retrieval-Augmented Generation (RAG) has quickly grown into a pivotal paradigm in the development of Large Language Models (LLMs). While much of the current research in this field focuses on performance optimization, particularly in terms of accuracy and efficiency, the trustworthiness of RAG systems remains an area still under exploration. From a positive perspective, RAG systems are promising to enhance LLMs by providing them with useful and up-to-date knowledge from vast external databases, thereby mitigating the long-standing problem of hallucination. While from a negative perspective, RAG systems are at the risk of generating undesirable contents if the retrieved information is either inappropriate or poorly utilized. To address these concerns, we propose a unified framework that assesses the trustworthiness of RAG systems across six key dimensions: factuality, robustness, fairness, transparency, accountability, and privacy. Within this framework, we thoroughly review the existing literature on each dimension. Additionally, we create the evaluation benchmark regarding the six dimensions and conduct comprehensive evaluations for a variety of proprietary and open-source models. Finally, we identify the potential challenges for future research based on our investigation results. Through this work, we aim to lay a structured foundation for future investigations and provide practical insights for enhancing the trustworthiness of RAG systems in real-world applications.

연구 동기 및 목표

• RAG 시스템에서 신뢰성을 위한 통일된 여섯 차원 프레임워크를 정의하는 것 (사실성, 강건성, 공정성, 투명성, 책임성, 프라이버시).
• 각 RAG 신뢰성 차원의 기존 문헌을 조사한다.
• LLM 전반에 걸친 신뢰성을 평가하기 위한 실용적인 벤치마크를 구축하고 향후 RAG 개발을 위한 실행 가능한 지침을 제시한다.

제안 방법

• 여섯 가지 신뢰성 차원을 제안하고 이를 하나의 통합 RAG 평가 프레임워크에 통합한다.
• 기존 문헌을 조사하고 차원, 방법 유형 및 대상에 따라 접근법을 분류한다.
• 여섯 차원에 걸쳐 10개의 LLM(독점형 및 오픈 소스)을 평가하는 벤치마크를 구축하고 적용한다.
• 사실성, 강건성, 공정성, 투명성, 책임성, 프라이버시의 대표적 방법과 발견을 검토한다.
• 2024년 7월까지의 신뢰성 연구 타임라인을 제시하고 격차와 기회를 요약한다.

실험 결과

연구 질문

• RQ1 RAG 시스템을 위한 포괄적 신뢰성 프레임워크를 구성하는 여섯 가지 차원은 무엇인가?
• RQ2 기존 방법은 RAG 맥락에서 각 차원을 어떻게 다루는가?
• RQ3 다른 LLM은 RAG 환경에서 사실성, 강건성, 공정성, 투명성, 책임성, 프라이버시에 대해 어떻게 성능을 보이는가?
• RQ4 RAG 신뢰성을 측정하기 위한 벤치마크와 평가 방법론은 무엇이 효과적인가?
• RQ5 신뢰할 수 있는 RAG 연구의 주요 과제와 향후 방향은 무엇인가?

주요 결과

• RAG 시스템에 대해 여섯 가지 신뢰성 차원으로 구성된 통합 프레임워크가 제안된다.
• 문헌 검토는 여섯 가지 차원 전반에 걸친 격차와 유망한 방향을 강조한다.
• 벤치마킹 프레임워크가 확립되어 신뢰성 측면에서 10개의 LLM을 평가하는 데 적용된다.
• 사실성, 강건성, 책임성 및 프라이버시를 개선하기 위한 접근법을 제시한다.
• 논의는 신뢰성 있는 RAG 배치를 강화하기 위한 도전 과제와 향후 연구 방향을 제시한다.