[논문 리뷰] A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models

S. M Towhidul Islam Tonmoy, S M Mehedi Zaman외 5명|arXiv (Cornell University)|2024. 01. 02.

COVID-19 diagnosis using AI인용 수 109

한 줄 요약

본 고찰은 LLM의 환각을 완화하기 위한 over thirty-two techniques를 카탈로그하고, 향후 연구를 안내하기 위한 분류 체계와 통찰을 제시합니다.

ABSTRACT

As Large Language Models (LLMs) continue to advance in their ability to write human-like text, a key challenge remains around their tendency to hallucinate generating content that appears factual but is ungrounded. This issue of hallucination is arguably the biggest hindrance to safely deploying these powerful LLMs into real-world production systems that impact people's lives. The journey toward widespread adoption of LLMs in practical settings heavily relies on addressing and mitigating hallucinations. Unlike traditional AI systems focused on limited tasks, LLMs have been exposed to vast amounts of online text data during training. While this allows them to display impressive language fluency, it also means they are capable of extrapolating information from the biases in training data, misinterpreting ambiguous prompts, or modifying the information to align superficially with the input. This becomes hugely alarming when we rely on language generation capabilities for sensitive applications, such as summarizing medical records, financial analysis reports, etc. This paper presents a comprehensive survey of over 32 techniques developed to mitigate hallucination in LLMs. Notable among these are Retrieval Augmented Generation (Lewis et al, 2021), Knowledge Retrieval (Varshney et al,2023), CoNLI (Lei et al, 2023), and CoVe (Dhuliawala et al, 2023). Furthermore, we introduce a detailed taxonomy categorizing these methods based on various parameters, such as dataset utilization, common tasks, feedback mechanisms, and retriever types. This classification helps distinguish the diverse approaches specifically designed to tackle hallucination issues in LLMs. Additionally, we analyze the challenges and limitations inherent in these techniques, providing a solid foundation for future research in addressing hallucinations and related phenomena within the realm of LLMs.

연구 동기 및 목표

• 다양한 모델과 작업에 걸친 LLM의 환각 완화 방법의 스펙트럼을 특징화합니다.
• 검색, 프롬프트, 모델 개발 및 평가 접근법을 체계적으로 정리하는 구조화된 분류 체계를 제공합니다.
• 도전 과제, 한계 및 향후 연구와 배치를 안내할 수 있는 잠재적 방향을 분석합니다.
• LLM 출력의 충실도, 신뢰성 및 안전성에 대한 실용적 고려사항을 강조합니다.

제안 방법

• 프롬프트, 모델 개발 및 평가를 포함한 환각 완화 기법의 포괄적 분류 체계를 구축합니다.
• 검색 기반 생성, 자기 개선, 프롬프트 튜닝, 지식 그래프, 충실도 기반 손실, 감독 학습 미세 조정을 포함한 기법을 합성합니다.
• 사실성 및 근거 제시에 영향을 주는 엔드투엔드 RAG 시스템과 디코딩 전략을 논의합니다.
• 주목할 만한 시스템과 프레임워크(RAG, D&Q, EVER, CoVe, CoNLI 등)와 환각 감소에 보고된 역할을 요약합니다.
• 향후 연구를 안내하기 위한 데이터셋 사용, 피드백 메커니즘 및 검색기 유형에 대한 교차적 분석을 제공합니다.

실험 결과

연구 질문

• RQ1 LLM에서 환각을 완화하기 위해 사용되는 주요 카테고리와 기법은 무엇인가요?
• RQ2 검색, 프롬프트, 모델 개발 및 평가 전략은 효율성과 적용 가능성 측면에서 어떻게 비교되나요?
• RQ3 현재 환각 완화 접근법의 주요 한계와 도전 과제는 무엇이며, 향후 연구에 어떤 방향이 유망한가요?
• RQ4 다양한 모달리티와 작업에서 충실도와 근거 제시를 어떻게 정량화하고 향상시킬 수 있나요?

주요 결과

• 프롬프트 엔지니어링, 엔드투 엔드 검색, 자기 개선 및 모델 아키텍처 변경에 이르는 광범위한 환각 완화 기법의 분류 체계가 제시됩니다.
• Retrieval-Augmented Generation (RAG) 및 지식 근거 제시 접근법이 출력의 근거 제시를 위한 효과적인 메커니즘으로 반복적으로 강조됩니다.
• 여러 자가 점검 및 피드백 기반 전략(EVER, CoVe, CoNLI, SC reasoning 등)이 작업 전반에서 환각 감소를 보입니다.
• 지식 그래프와 충실도 기반 손실은 사실 정렬 개선에 기여하며, 여러 아키텍처 수준의 방법이 제안되었습니다.
• 본 연구는 데이터 품질, 평가의 어려움, 그리고 견고하고 작업 및 도메인 특화된 해법의 필요성과 같은 한계를 지적합니다.