[논문 리뷰] Medical Misinformation in AI-Assisted Self-Diagnosis: Development of a Method (EvalPrompt) for Analyzing Large Language Models

Zada, Troy, Tam, Natalie외 4명|arXiv (Cornell University)|2023. 07. 10.

Misinformation and Its ImpactsSocial Sciences인용 수 3

한 줄 요약

이 논문은 답변 선택지 없이 개방형 의료 질문을 테스트하는 방식으로, ChatGPT와 같은 대규모 언어 모델(Large Language Models, LLMs)의 실제 자기 진단 시나리오에서의 성능을 평가하는 새로운 방법인 EvalPrompt를 소개한다. 이는 LLMs가 이전에 상정된 것보다 유의미하게 열등하게 작동하며, 잘못된 권고에 대해 과도하게 자신감을 보이고, 경고 문구나 불확실성 표시를 생략함으로써 실제 사용 시 의료 오인정보 확산 위험을 증폭시킨다는 것을 드러낸다.

ABSTRACT

Rapid integration of large language models (LLMs) in health care is sparking global discussion about their potential to revolutionize health care quality and accessibility. At a time when improving health care quality and access remains a critical concern for countries worldwide, the ability of these models to pass medical examinations is often cited as a reason to use them for medical training and diagnosis. However, the impact of their inevitable use as a self-diagnostic tool and their role in spreading healthcare misinformation has not been evaluated. This study aims to assess the effectiveness of LLMs, particularly ChatGPT, from the perspective of an individual self-diagnosing to better understand the clarity, correctness, and robustness of the models. We propose the comprehensive testing methodology evaluation of LLM prompts (EvalPrompt). This evaluation methodology uses multiple-choice medical licensing examination questions to evaluate LLM responses. We use open-ended questions to mimic real-world self-diagnosis use cases, and perform sentence dropout to mimic realistic self-diagnosis with missing information. Human evaluators then assess the responses returned by ChatGPT for both experiments for clarity, correctness, and robustness. The results highlight the modest capabilities of LLMs, as their responses are often unclear and inaccurate. As a result, medical advice by LLMs should be cautiously approached. However, evidence suggests that LLMs are steadily improving and could potentially play a role in healthcare systems in the future. To address the issue of medical misinformation, there is a pressing need for the development of a comprehensive self-diagnosis dataset. This dataset could enhance the reliability of LLMs in medical applications by featuring more realistic prompt styles with minimal information across a broader range of medical fields.

연구 동기 및 목표

• 다중선택 문제 시험 기준을 넘어서 실제 사용 환경에서 ChatGPT와 같은 LLM의 성능을 비판적으로 평가하는 것.
• 비전문가가 개방형 증상 질의를 위해 LLM을 사용할 때, 의료 오인정보가 어떻게 확산되는지 조사하는 것.
• 단순한 정확성 초과하여 응답 품질의 미묘한 차이를 포착할 수 있는 반복 가능한, 인간 평가자 기반 평가 프레임워크를 개발하는 것.
• 특히 고위험 의료 맥락에서 LLM이 자신의 불확실성 또는 응답의 타당성을 인지할 수 있는지 조사하는 것.
• 시험 성능이 아닌 실제 사용 가능성에 중점을 둔, 건강관리 분야의 LLM 평가를 위한 방법론적 청사진을 제공하는 것.

제안 방법

• 단일 정답 미국의학시험(USMLE) Step 1 문제의 일부를 개방형 프롬프트로 변형하여 실제 사용자의 자가진단 상황을 시뮬레이션한다.
• 비전문가 인간 평가자들이 응답을 정밀 척도로 평가: 정확, 부분적으로 정확, 오류, 모호.
• 문장 제거(ablation)를 통한 민감도 분석을 실시하여 LLM 응답이 정보가 누락되었을 때의 내구성(저항성)을 테스트한다.
• ChatGPT에게 자신의 답변을 자가 평가하도록 요청하여 오류나 불확실성을 감지할 능력 여부를 평가한다.
• 집계된 인간 평가 결과를 바탕으로 LLM 출력의 성능 저하 및 행동적 이상 현상을 정량화한다.
• 개방형 의료 추론 과제에서 LLM을 평가하기 위한 반복 가능하고, 평가자 신뢰도를 고려한 방법론을 수립한다.

실험 결과

연구 질문

• RQ1 답변 선택지가 제공되지 않을 경우, ChatGPT와 같은 LLM의 의료 자가진단 과제에서 성능이 다중선택 설정과 비교해 어떻게 변화하는가?
• RQ2 틀린 응답을 내놓을 때조차 LLM이 경고 문구나 불확실성 표시를 생략하는 정도는 어느 정도인가?
• RQ3 핵심 임상 정보가 제거된 정보 누락(정보 제거)이 LLM이 생성한 의료 조언의 정확도 인식에 어떤 영향을 미치는가?
• RQ4 LLM은 자신의 응답을 정확하게 자가 평가할 수 있는가, 특히 잘못된 또는 과도하게 자신감 있는 답변을 식별하는 데서?
• RQ5 의료 추론 과제 수행 시, 과도한 자신감이나 불필요한 경계심 같은 행동 패턴이 어떻게 나타나는가?

주요 결과

• 답변 선택지가 제공되지 않을 경우 LLM의 성능이 유의미하게 저하되며, 이는 다중선택 기준이 실제 진단 능력을 과대평가하고 있음을 시사한다.
• ChatGPT는 잘못되거나 잠재적으로 해로운 의료 조치를 권고할 때조차 경고 문구나 불확실성 표시를 자주 생략한다.
• 틀린 권고에 대해 과도한 자신감을 보이며, 자가진단 환경에서 의료 오인정보가 확산될 위험을 증가시킨다.
• 의학적으로 정확한 답변이 추가로 불필요한 의학적 권고를 포함하고 있을 경우, ChatGPT는 이를 종종 '부분적으로 정확'으로 분류하여 임상 직관의 부족함을 드러낸다.
• 자신의 오류를 자가 평가할 때 ChatGPT는 자신의 오류에 대한 인식이 빈약하여, 사실 확인 도구로 신뢰할 수 없다는 것을 시사한다.
• 단순한 정보 누락(예: 한 문장만 제거)이라도 응답의 정확도 인식에 유의미한 영향을 미치며, 실제 데이터 변동 상황에서의 추론 취약성을 드러낸다.