[논문 리뷰] Creating Trustworthy LLMs: Dealing with Hallucinations in Healthcare AI

Muhammad Aurangzeb Ahmad, Ilker Yaramis외 1명|arXiv (Cornell University)|2023. 09. 26.

Artificial Intelligence in Healthcare and Education인용 수 14

한 줄 요약

이 논문은 신뢰할 수 있고 투명하며 책임 있는 활용을 가능하게 하기 위해 의료 분야 LLM에서의 환각 현상을 모니터링하고 측정하며 완화하는 방법을 다루고, 평가 방법, 완화 전략 및 향후 전망을 상세히 제시한다.

ABSTRACT

Large language models have proliferated across multiple domains in as short period of time. There is however hesitation in the medical and healthcare domain towards their adoption because of issues like factuality, coherence, and hallucinations. Give the high stakes nature of healthcare, many researchers have even cautioned against its usage until these issues are resolved. The key to the implementation and deployment of LLMs in healthcare is to make these models trustworthy, transparent (as much possible) and explainable. In this paper we describe the key elements in creating reliable, trustworthy, and unbiased models as a necessary condition for their adoption in healthcare. Specifically we focus on the quantification, validation, and mitigation of hallucinations in the context in healthcare. Lastly, we discuss how the future of LLMs in healthcare may look like.

연구 동기 및 목표

• 의료 분야에서의 환각적 출력에 대응함으로써 LLM의 신중하지만 적극적인 채택을 촉진한다.
• 의료 AI에서의 환각을 정의하고 안전성, 편향, 프라이버시, 책임에 미치는 영향을 식별한다.
• 데이터, 모델, 배치 맥락 전반에 걸친 환각의 평가 및 완화 프레임워크를 제안한다.
• 신뢰할 수 있는 의료 LLM을 위한 실용적 가드레일과 향후 방향을 강조한다.

제안 방법

• 내부 모델 접근과 블랙박스 출력의 두 가지 평가 시나리오를 논의하고, 자기 점검 및 해석 가능성을 강조한다.
• 환각을 측정하기 위한 사실성 및 정렬성에 대한 인간 평가와 자동화된 지표를 설명한다 (예: FactScore, FActuality 개념).
• HITL, 알고리즘 보정, 파인튜닝, 프롬프트 개선, 적대적 학습, 입력 검증, 메모리 보강, 모델 선택 등을 포함한 다각적 완화 전략을 개요한다.
• 훈련이나 평가에 포함하기 전에 데이터 세트와 출력에 대한 도메인 전문가 확인의 필요성과 벤치마크 신뢰성을 다룬다.
• 의료 AI의 규제, 안전성 및 실무 채택 고려사항에 대한 전망 있는 논의를 제공한다.

실험 결과

연구 질문

• RQ1 모델 접근이 제한될 수 있을 때 의료 LLM에서의 환각을 효과적으로 평가하고 정량화하는 방법은?
• RQ2 높은 위험도를 갖는 의료 작업에서 어떤 인간 in-the-loop, 알고리즘적, 데이터 중심 전략의 조합이 환각을 가장 잘 완화하는가?
• RQ3 의료 LLM 출력의 진실성 및 신뢰성을 보장하는 벤치마크와 평가 관행은 무엇인가?
• RQ4 의료 애플리케이션에서 모델 선택과 외부 지식원은 환각 감소에 어떤 역할을 하는가?

주요 결과

• 환각은 진단이나 치료에 대해 잘못된 정보를 제공할 수 있기 때문에 의료 분야에서 LLM 채택의 근본적인 장애물이다.
• 평가는 모델 내부 점검이나 블랙박스 출력 분석을 통해 수행될 수 있으며, 인간 및 자동화 방법으로 보완된다.
• 완화는 HITL 개입, 프롬프트 전략, 파인튜닝, 적대적 학습, 입력 검증 및 외부 메모리 통합을 포함한 다각적이다.
• 데이터 벤치마크는 잘못된 정보를 포함한 데이터세트를 기반으로 하지 않도록 도메인 전문가의 확인이 필요하다.
• 의료 맥 context에서 환각을 탐지하고 관리하기 위한 NeMo Guardrails와 같은 도구와 방법들이 등장하고 있다.