[논문 리뷰] Towards Trustworthy Retrieval Augmented Generation for Large Language Models: A Survey

Bo Ni, Zheyuan Liu외 18명|ArXiv.org|2025. 02. 08.

Topic Modeling인용 수 3

한 줄 요약

이 연구는 대규모 언어 모델에서 신뢰할 수 있는 Retrieval Augmented Generation(RAG)에 대한 포괄적인 로드맵을 제공하며, 프레임워크, 분류 체계, 평가 접근법 및 여섯 가지 신뢰성 축에 걸친 향후 방향을 자세히 다룹니다.

ABSTRACT

Retrieval-Augmented Generation (RAG) is an advanced technique designed to address the challenges of Artificial Intelligence-Generated Content (AIGC). By integrating context retrieval into content generation, RAG provides reliable and up-to-date external knowledge, reduces hallucinations, and ensures relevant context across a wide range of tasks. However, despite RAG's success and potential, recent studies have shown that the RAG paradigm also introduces new risks, including robustness issues, privacy concerns, adversarial attacks, and accountability issues. Addressing these risks is critical for future applications of RAG systems, as they directly impact their trustworthiness. Although various methods have been developed to improve the trustworthiness of RAG methods, there is a lack of a unified perspective and framework for research in this topic. Thus, in this paper, we aim to address this gap by providing a comprehensive roadmap for developing trustworthy RAG systems. We place our discussion around five key perspectives: reliability, privacy, safety, fairness, explainability, and accountability. For each perspective, we present a general framework and taxonomy, offering a structured approach to understanding the current challenges, evaluating existing solutions, and identifying promising future research directions. To encourage broader adoption and innovation, we also highlight the downstream applications where trustworthy RAG systems have a significant impact.

연구 동기 및 목표

• 신뢰성, 프라이버시, 안전성, 공정성, 설명가능성, 책임감을 다루는 RAG 기반 LLM을 위한 통합 신뢰성 프레임워크를 도입한다.
• 각 축에 대한 도전과 해결책의 분류 체계와 구조화된 논의를 제공한다.
• 향후 연구 개발을 이끌기 위해 기존 방법, 평가 지표 및 실제 응용 사례를 조사한다.

제안 방법

• 여섯 가지 축에 걸친 신뢰할 수 있는 RAG에 대한 문헌을 체계적으로 검토하고 분류한다.
• RAG에서 신뢰성, 프라이버시, 안전성, 공정성, 설명가능성, 책임성에 대한 분류 체계를 개발한다.
• 각 축의 평가 지표와 위험 영역을 분석하고 향후 연구 방향을 제시한다.
• 신뢰할 수 있는 RAG가 큰 영향을 미칠 수 있는 하류 애플리케이션을 부각시킨다.
• 투명성을 위해 수집된 연구 및 프레임워크를 담은 GitHub 저장소를 참조한다.

실험 결과

연구 질문

• RQ1 RAG 시스템에서 핵심 신뢰성, 프라이버시, 안전성, 공정성, 설명가능성, 책임성 도전은 무엇인가?
• RQ2 개발 수명주기에 걸쳐 현재의 신뢰할 수 있는 RAG 접근방식을 가장 잘 정리하는 프레임워크와 분류 체계는 무엇인가?
• RQ3 신뢰할 수 있는 RAG 시스템은 어떻게 평가되며 평가 방법론의 간극은 무엇인가?
• RQ4 신뢰할 수 있는 RAG를 발전시키기 위한 주요 미래 방향과 실용적 응용은 무엇인가?
• RQ5 검색, 보강 및 생성이 RAG 파이프라인의 신뢰성에 어떤 상호작용을 일으켜 영향을 주는가?

주요 결과

• 본 논문은 RAG 시스템의 여섯 가지 신뢰성 축에 대해 포괄적인 분류 체계와 프레임워크를 제공한다.
• 신뢰성, 프라이버시, 안전성, 공정성, 설명가능성 및 책임성에 대한 현재 방법과 평가를 종합한다.
• 불확실성, 강건한 일반화, 다중 구성 요소 보정이 핵심 신뢰성 문제로 논의된다.
• 외부 검색 데이터베이스 및 학습 데이터 누출로 인한 프라이버시 위험을 강조하고 평가 시 고려사항을 제안한다.
• 안전성, 공정성, 설명가능성 및 책임성 도전과 관련 평가 프로토콜을 검토한다.
• 신뢰할 수 있는 RAG의 더 넓은 채택과 책임 있는 배치를 촉진하기 위한 간극과 향후 방향을 식별한다.