[논문 리뷰] MediQ: Question-Asking LLMs and a Benchmark for Reliable Interactive Clinical Reasoning

Shuyue Stella Li, Vidhisha Balachandran외 5명|arXiv (Cornell University)|2024. 06. 03.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 환자-의사 대화를 현실적으로 시뮬레이션하는 환자 시스템과 적응형 전문가 시스템을 갖춘, 임상 추론에서 상호작용형 질문 제안을 위한 LLM 프레임워크인 MediQ를 소개한다. GPT-3.5 및 Llama-3과 같은 최신 기술 기반 LLM은 능동적인 정보 확보에 어려움을 겪지만, 신뢰도 추정을 위한 새로운 기각 모듈을 통해 성능이 22.3% 향상되며, 여전히 완전한 정보 기반 기준보다 뒤처진다.

ABSTRACT

Users typically engage with LLMs interactively, yet most existing benchmarks evaluate them in a static, single-turn format, posing reliability concerns in interactive scenarios. We identify a key obstacle towards reliability: LLMs are trained to answer any question, even with incomplete context or insufficient knowledge. In this paper, we propose to change the static paradigm to an interactive one, develop systems that proactively ask questions to gather more information and respond reliably, and introduce an benchmark - MediQ - to evaluate question-asking ability in LLMs. MediQ simulates clinical interactions consisting of a Patient System and an adaptive Expert System; with potentially incomplete initial information, the Expert refrains from making diagnostic decisions when unconfident, and instead elicits missing details via follow-up questions. We provide a pipeline to convert single-turn medical benchmarks into an interactive format. Our results show that directly prompting state-of-the-art LLMs to ask questions degrades performance, indicating that adapting LLMs to proactive information-seeking settings is nontrivial. We experiment with abstention strategies to better estimate model confidence and decide when to ask questions, improving diagnostic accuracy by 22.3%; however, performance still lags compared to an (unrealistic in practice) upper bound with complete information upfront. Further analyses show improved interactive performance with filtering irrelevant contexts and reformatting conversations. Overall, we introduce a novel problem towards LLM reliability, an interactive MediQ benchmark and a novel question-asking system, and highlight directions to extend LLMs' information-seeking abilities in critical domains.

연구 동기 및 목표

• 부분 정보가 주어졌을 때 LLM의 신뢰성 부족 문제를 해결하기 위해.
• 환자가 불완전한 데이터를 제공하는 현실적인 의료 상담을 시뮬레이션하여, 임상의가 능동적으로 누락된 정보를 확보해야 하는 상황을 재현하기 위해.
• 정적 단일턴 질의응답이 아닌 상호작용형 다턴 추론 평가를 위한 벤치마크를 개발하기 위해.
• LLM이 불확실할 경우 추측 대신 후속 질문을 던질 수 있도록 어떻게 적응시킬 수 있는지 탐색하기 위해.
• 의료 진단 과정에서 신뢰할 수 있고 적응 가능한 정보 확보 능력에 있어 현재 LLM의 핵심 과제와 성능 격차를 규명하기 위해.

제안 방법

• MediQ 프레임워크는 환자를 시뮬레이션하고 환자 기록의 사실적 기억을 바탕으로 후속 질문에 답변하는 환자 시스템으로 구성된다.
• 전문가 시스템은 각 턴에서 자신감에 따라 답변을 내릴지 또는 더 많은 정보를 요청할지를 결정하는 의사 보조자 역할을 한다.
• MedQA 및 Craft-MD를 초기에 부분적인 환자 정보만 제공하는 방식으로 변환하여 상호작용형 환경으로 전환한다.
• 더 나은 신뢰도 추정과 질문 추가 여부 결정을 위해 새로운 기각 모듈을 도입한다.
• 모델 구성에 따라 신뢰성과 일관성을 평가하기 위해 다양한 프롬프트 변형(시스템 및 응답 프롬프트)을 테스트한다.
• 진단 정확도를 다양한 의료 전문 분야와 질문 난이도 수준에서 평가하며, 완전한 정보 기반 상한선과 비교한다.

Figure 1 : Information Seeking Task. In standard medical QA tasks (left), all necessary information is given to the assistant model at the same time. When given partial information, current LLMs only provides general responses (middle). In a more realistic scenario (right), the presentation of patie

실험 결과

연구 질문

• RQ1 최신 기술 기반 LLM이 정보가 불완전할 경우 후속 질문을 던지며 상호작용형 임상 추론을 신뢰성 있게 수행할 수 있는가?
• RQ2 상호작용형 임상 추론에서 LLM의 성능은 완전한 정보가 제공되는 단일턴 QA 성능과 비교해 어떻게 다른가?
• RQ3 다양한 프롬프트 엔지니어링 전략(시스템 및 응답 프롬프트)은 정보 확보 작업에서 LLM의 신뢰성과 일관성에 어떤 영향을 미치는가?
• RQ4 의료 질문의 난이도와 전문 분야 유형은 상호작용 기반 정보 확보의 효과에 어떤 영향을 미치는가?
• RQ5 신뢰도 추정이나 컨텍스트 필터링과 같은 구성 요소 중 어떤 것이 상호작용형 LLM의 진단 정확도 향상에 가장 크게 기여하는가?

주요 결과

• 부분적인 컨텍스트만 제공된 동일한 상황에서 단일턴 추론 대비 직접 프롬프트를 통해 질문을 유도하는 SOTA LLM은 진단 정확도가 상대적으로 11.3% 하락한다.
• 신뢰도 기반 기각 모듈을 도입함으로써 데이터셋 전반에서 진단 정확도가 22.3% 향상되었으며, 이는 의도적인 불확실성 처리의 가치를 입증한다.
• 개선에도 불구하고, 최고의 상호작용형 전문가 시스템은 완전한 정보가 사전에 제공된 상황에서 10.3% 뒤처진다.
• 어려운 전문 분야인 안과 분야에서 성능 향상이 가장 두드러지며, 상호작용을 통해 정확도가 18.2%에서 45.5%로 상승한다.
• 이4.2% 향상된다.
• 연구 결과, LLM은 컨텍스트가 부족할 경우 파rametric 지식에 의존하는 경향이 있으며, 이로 인해 가장 흔한 선택지와의 일반화 일치도가 50.0%에 달해 정확도를 저하시킨다.

Figure 2 : The MediQ Framework. MediQ operationalizes a realistic dynamic medical consultation process. It consists of a Patient system and an Expert system to evaluate medical info-seeking.