[논문 리뷰] Towards Reliable Medical Question Answering: Techniques and Challenges in Mitigating Hallucinations in Language Models

Duy Khoa Pham, Quoc Bao Vo|arXiv (Cornell University)|2024. 08. 25.

Mental Health via Writing인용 수 6

한 줄 요약

이 범위 설정 연구는 지식 기반 작업에서의 환각 완화 기술을 조사하며, 의료 QA 및 요약에 중점을 두고, 생의학 분야에서의 적용 가능성과 도전 과제에 대해 논의한다.

ABSTRACT

The rapid advancement of large language models (LLMs) has significantly impacted various domains, including healthcare and biomedicine. However, the phenomenon of hallucination, where LLMs generate outputs that deviate from factual accuracy or context, poses a critical challenge, especially in high-stakes domains. This paper conducts a scoping study of existing techniques for mitigating hallucinations in knowledge-based task in general and especially for medical domains. Key methods covered in the paper include Retrieval-Augmented Generation (RAG)-based techniques, iterative feedback loops, supervised fine-tuning, and prompt engineering. These techniques, while promising in general contexts, require further adaptation and optimization for the medical domain due to its unique demands for up-to-date, specialized knowledge and strict adherence to medical guidelines. Addressing these challenges is crucial for developing trustworthy AI systems that enhance clinical decision-making and patient safety as well as accuracy of biomedical scientific research.

연구 동기 및 목표

• 환각 위험으로 인해 고위험 의료 분야에서 신뢰할 수 있는 LLM의 필요성을 제고한다.
• 지식 기반 작업에 대한 기존의 환각 완화 기술을 체계적으로 검토한다.
• 의료 및 생의학 맥락에 이러한 기법들의 적용 필요성을 평가한다.
• 헬스케어 AI에 특화된 데이터, 평가 및 배포의 도전 과제를 식별한다.

제안 방법

• 관련 연구를 수집하기 위해 수작업과 자동화된 문헌 검색을 결합하고 스노볼링을 이용한 범위 설정 연구를 수행한다.
• 완화 기법을 Retrieval-Augmented Generation, 반복적 피드백, 지도학습 미세조정, 프롬프트 엔지니어링으로 범주화한다.
• 사전생성, 생성, 후생성 및 end-to-end 학습 단계에 걸친 기법의 분류 체계와 합성을 제공한다.
• 의료 신뢰성을 위한 핵심 요인으로 데이터 품질, 출처의 신뢰성, 동적 검색을 강조한다.
• 의료 환각을 평가하기 위한 BioMedLM 및 Med-HALT와 같은 벤치마크 및 도메인 특화 평가를 논의한다.

실험 결과

연구 질문

• RQ1 RQ1: QA 및 요약과 같은 지식 기반 작업에 대한 현재의 환각 완화 기법은 얼마나 효과적인가?
• RQ2 RQ2: 의료 QA 및 요약의 정확성과 신뢰성을 향상시키는 데 환각 완화 기법의 효과는 어떤가?

주요 결과

• RAG 기반 접근 방식은 외부 소스를 통해 응답의 근거를 제공하여 지식 집약적 작업에서의 환각을 줄인다.
• 생성 전, 생성 중, 생성 후 단계의 RAG 기법과 엔드투엔드 메모리 통합은 가능성을 보이나 의학을 위한 도메인 특화 적응이 필요하다.
• 반복적 피드백, 지도 학습 미세조정, 프롬프트 전략은 사실성 향상에 기여하지만 최신 가이드라인과 같은 의료 도메인 제약에 직면한다.
• 동적 검색 의사결정과 실시간 검증/수정은 의료 신뢰성에 유망한 방향으로 식별된다.
• 헬스케어 분야에서 환각 완화를 효과적으로 평가하기 위해서는 의료 도메인 벤치마크(예: Med-HALT)와 고품질의 최신 데이터가 필요하다.
• 열린 도메인 대 도메인 특화 모델 간의 트레이드오프, 그리고 의료 QA를 위한 검색, 프롬프트, 정제의 최적 조합에 대한 미해결 질문이 남아 있다.