[논문 리뷰] RAGged Edges: The Double-Edged Sword of Retrieval-Augmented Chatbots

Philip Feldman. James R. Foulds, Foulds, James R.외 1명|arXiv (Cornell University)|2024. 03. 02.

AI in Service Interactions인용 수 5

한 줄 요약

이 논문은 연구자 CV에서 얻은 맥락 프롬프트를 사용하여 검색 강화 생성(RAG)이 LLM의 헛소문을 줄이는지 경험적으로 평가한다; 맥락은 정확도를 크게 향상시키지만 여전히 오류를 낼 수 있으며, RAG 시스템에서의 뉘앙스 있는 오류 유형을 강조한다.

ABSTRACT

Large language models (LLMs) like ChatGPT demonstrate the remarkable progress of artificial intelligence. However, their tendency to hallucinate -- generate plausible but false information -- poses a significant challenge. This issue is critical, as seen in recent court cases where ChatGPT's use led to citations of non-existent legal rulings. This paper explores how Retrieval-Augmented Generation (RAG) can counter hallucinations by integrating external knowledge with prompts. We empirically evaluate RAG against standard LLMs using prompts designed to induce hallucinations. Our results show that RAG increases accuracy in some cases, but can still be misled when prompts directly contradict the model's pre-trained understanding. These findings highlight the complex nature of hallucinations and the need for more robust solutions to ensure LLM reliability in real-world applications. We offer practical recommendations for RAG deployment and discuss implications for the development of more trustworthy LLMs.

연구 동기 및 목표

• LLM의 환각에 대응하기 위해 RAG를 사용하는 이유를 제시한다.
• 외부 정보를 검색할 때 맥락 프롬프트가 정확도에 미치는 영향을 조사한다.
• 맥락이 있어도 RAG 설정에서 지속되는 오류 유형을 평가한다.

제안 방법

• 학자들이 이력서를 제공하고 프롬프트가 이력서 맥락을 포함하거나 제외하도록 증강된 인간-대-루프 실험을 수행한다.
• Named academics의 출판물에 대해 프롬프트에 답하도록 OpenAI gpt-3.5-turbo-16k-0613를 사용한다.
• 참가자들이 각 응답을 환각(Hallucination), 부분적(Partial), 정확(Accurate), 또는 도움이 되지 않음(Unhelpful)으로 분류하도록 한다.
• 맥락 있는 프롬프트와 비 맥락 프롬프트 간의 정확도와 오류 유형을 비교한다.

실험 결과

연구 질문

• RQ1 CV 기반 정보 task에서 프롬프트에 검색된 맥락을 추가하는 것이 LLM 응답의 정확도를 향상시키는가?
• RQ2 맥락을 사용하는 RAG 기반 프롬프트에서 지속되는 오류의 범주는 무엇인가?
• RQ3 맥락 프롬oting이 실제로 환각 및 비도움 출력의 비율에 어떤 영향을 주는가?

주요 결과

• 맥락은 정확도를 크게 높인다: 맥락을 사용할 때 약 94% 정확도, 맥락이 없을 때는 약 7.31% 정확도.
• 1,125개의 맥락 포함 항목에서 93.95%가 정확하고 2.04%는 환각, 2.31%는 도움이 되지 않음, 1.68%는 부분적이었다.
• 793개의 비맥락 항목에서 7.31%가 정확했고, 55.35%는 환각, 28.87%는 도움이 되지 않음, 8.44%는 부분적이었다.
• 전반적으로 맥락 프롬pts는 환각을 줄이고 검색된 텍스트의 탐색을 약 18배 개선했다.
• 다섯 가지 오류 범주가 관찰되었다: 노이즈가 있는 맥락(Noisy Context), 지시와 맥락 간 불일치, 맥락 기반 합성, 비정상적 형식화, 불완전한 맥락.
• 맥락이 있어도 항목의 6.04%에서 맥락에 의해 야기된 오류 범주들로 인해 응답이 부정확했다.