[논문 리뷰] Large Language Models Need Holistically Thought in Medical Conversational QA

Yixuan Weng, Bin Li외 6명|arXiv (Cornell University)|2023. 05. 09.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대화형 의료 질의응답(CQA)에서 대규모 언어 모델(LLM)의 성능을 향상시키기 위해 광범위한 탐색을 위한 산산이 흩어진 사고와 환자 중심의 추론를 위한 집중적 사고를 통합하는 통합적 사고(HoT) 방법을 제안한다. 세 개의 多어휘 CQA 데이터셋에서 평가한 결과, 미세조정 없이도 최신 기술보다 응답의 정확도, 전문성, 배려심리가 뛰어나게 향상되었다.

ABSTRACT

The medical conversational question answering (CQA) system aims at providing a series of professional medical services to improve the efficiency of medical care. Despite the success of large language models (LLMs) in complex reasoning tasks in various fields, such as mathematics, logic, and commonsense QA, they still need to improve with the increased complexity and specialization of the medical field. This is because medical CQA tasks require not only strong medical reasoning, but also the ability to think broadly and deeply. In this paper, to address these challenges in medical CQA tasks that need to be considered and understood in many aspects, we propose the Holistically Thought (HoT) method, which is designed to guide the LLMs to perform the diffused and focused thinking for generating high-quality medical responses. The proposed HoT method has been evaluated through automated and manual assessments in three different medical CQA datasets containing the English and Chinese languages. The extensive experimental results show that our method can produce more correctness, professional, and considerate answers than several state-of-the-art (SOTA) methods, manifesting its effectiveness. Our code in https://github.com/WENGSYX/HoT.

연구 동기 및 목표

• 기존 LLM이 의료 CQA에서 종종 통합적 추론을 부족하게 하고, 환자의 병력 및 현재 상태와 같은 환자 중심의 요소를 고려하지 못하는 한계를 해결하기 위해.
• 모델 미세조정이나 추가 애너테이션 없이도 LLM이 종합적이고 정확하며 배려심 있는 의료 응답을 생성할 수 있도록 능력을 향상시키는 제로샷, 프롬프트 기반 방법을 개발하기 위해.
• 단일 추론 프레임워크 내에서 광범위한 탐색(Diffused Thinking)과 환자 중심의 집중적 통합(Focused Thinking)을 통합함으로써 의료 추론 능력을 향상시키기 위해.
• 다양하고 다국어 의료 CQA 데이터셋을 통해 방법의 정밀성과 일반화 능력을 입증하기 위해, 다양한 언어와 임상 상황에서의 성능을 평가하기 위해.
• 의료 결론이 어떻게 도출되는지 보여주는 투명하고 해석 가능한 추론 과정을 제공함으로써 신뢰도와 임상적 유용성을 높이기 위해.

제안 방법

• HoT 방법은 두 단계의 추론 과정을 도입한다: 산산이 흩어진 사고는 다양한 디코딩 전략을 사용하여 광범위한 의료 지식과 잠재적 응답 구성 요소를 탐색한다.
• 집중적 사고는 입력 질의를 바탕으로 관련 임상 정보(예: 증상, 병력, 현재 상태 등)를 통합하여 환자 중심의 구조화된 의료 기록 요약을 생성한다.
• 모델은 산산이 흩어진 사고와 집중적 사고에서 도출된 통찰을 통합하여 종합적이고 맥락에 맞는 정확하며 환자 고유의 프로필에 맞춘 최종 응답을 생성한다.
• 이 방법은 완전히 프롬프트 기반이며 제로샷으로, 미세조정이나 추가 애너테이션 없이도 적용 가능하여 새로운 또는 희귀 질환에 쉽게 적응할 수 있다.
• LLM의 인라인 학습 능력을 활용하여 의사가 진단하거나 조언하기 전에 여러 요소를 고려하는 것과 유사한 통합적 임상 추론을 시뮬레이션한다.
• 이 프레임워크는 다양한 LLM 아키텍처와 호환되며 영어 및 중국어 의료 CQA 작업 모두를 지원한다.

실험 결과

연구 질문

• RQ1 제로샷 프롬프팅 방법이 통합적 임상 추론을 시뮬레이션함으로써 의료 대화 질의응답 응답의 품질을 향상시킬 수 있는가?
• RQ2 산산이 흩어진 사고와 집중적 사고를 결합함으로써 LLM 기반 의료 대화에서 응답의 정확도, 전문성, 환자 중심성은 어떻게 향상되는가?
• RQ3 HoT 방법은 미세조정 없이도 다국어 의료 CQA 데이터셋에 얼마나 잘 일반화되는가?
• RQ4 의료 추론 과정을 투명하고 추적 가능하게 만들어, HoT 방법이 해석 가능성에 기여하는가?
• RQ5 복잡한 실제 의료 추론 시나리오에서 HoT 방법은 기존 최신 기술 방법보다 어떻게 뛰어나게 되는가?

주요 결과

• HoT 방법은 세 개의 의료 CQA 데이터셋에서 응답 품질 향상이 뚜렷하게 나타났으며, 자동 평가 및 수동 평가 모두에서 여러 최신 기술 기반 베이스라인을 능가했다.
• 수동 평가에서 의료 전문가들은 HoT가 생성한 응답이 기준 모델보다 더 정확하고 전문적이며 배려심 있는 것으로 평가했다.
• 이 방법은 강력한 제로샷 일반화 능력을 보였으며, 재학습이나 추가 애너테이션 없이도 희귀 또는 새로운 질환을 효과적으로 다룰 수 있었다.
• 산산이 흩어진 사고와 집중적 사고의 통합으로 병력 및 현재 증상과 같은 환자 중심의 요소를 더 잘 반영한 종합적인 응답이 도출되었다.
• 구조화된 사고 분해를 통해 추론 과정을 명확히 드러내어 모델 출력에 대한 신뢰도를 높였으며, 이로 인해 해석 가능성 향상에 기여했다.
• 이 방법은 영어 및 중국어 의료 CQA 데이터셋 모두에서 일관된 성능을 보였으며, 다국어 적용 가능성에 대한 확인을 얻었다.