[논문 리뷰] Healthcare Copilot: Eliciting the Power of General LLMs for Medical Consultation

Zhiyao Ren, Yibing Zhan외 3명|arXiv (Cornell University)|2024. 02. 20.

Medical Coding and Health Information인용 수 6

한 줄 요약

Healthcare Copilot은 Dialogue, Memory, 및 Processing 모듈을 조정하여 일반 LLM을 의료 상담에 활용성을 높이고 ChatGPT를 이용한 자동 평가 체계로 평가합니다; 이는 여러 백본에 걸쳐 조회, 유창성, 정확성, 안전성을 개선합니다.

ABSTRACT

The copilot framework, which aims to enhance and tailor large language models (LLMs) for specific complex tasks without requiring fine-tuning, is gaining increasing attention from the community. In this paper, we introduce the construction of a Healthcare Copilot designed for medical consultation. The proposed Healthcare Copilot comprises three main components: 1) the Dialogue component, responsible for effective and safe patient interactions; 2) the Memory component, storing both current conversation data and historical patient information; and 3) the Processing component, summarizing the entire dialogue and generating reports. To evaluate the proposed Healthcare Copilot, we implement an auto-evaluation scheme using ChatGPT for two roles: as a virtual patient engaging in dialogue with the copilot, and as an evaluator to assess the quality of the dialogue. Extensive results demonstrate that the proposed Healthcare Copilot significantly enhances the capabilities of general LLMs for medical consultations in terms of inquiry capability, conversational fluency, response accuracy, and safety. Furthermore, we conduct ablation studies to highlight the contribution of each individual module in the Healthcare Copilot. Code will be made publicly available on GitHub.

연구 동기 및 목표

• 미세 조정 없이 일반 LLM을 의료 상담에 활용하도록 동기를 부여합니다.
• 안전하고 다회 대화를 가능하게 하는 코파일럿 프레임워크를 설계합니다.
• 현재 및 과거 환자 정보를 보유하도록 기억(memory)을 통합합니다.
• 상담을 요약하기 위한 포스트프로세싱 보고서를 제공합니다.

제안 방법

• Dialogue, Memory, and Processing의 세 구성 요소 아키텍처를 도입합니다.
• 작업을 분류하는 Function 모듈(진단, 설명, 권고)을 구현하고 다중 라운드 조회를 안내합니다.
• 윤리성, 안전 및 전문적 감독을 보장하기 위해 Safety 및 Doctor 모듈을 추가합니다.
• 문맥을 유지하고 이력을 요약하기 위한 Conversation Memory 및 History Memory를 포함한 Memory를 구현합니다.
• Processing 모듈은 상담의 요약 및 보고서 생성을 제공합니다.

실험 결과

연구 질문

• RQ1 미세 조정 없이 일반 LLM 기반의 코파일럿이 의료 상담 질을 향상시킬 수 있을까요?
• RQ2 Dialogue, Memory, 및 Processing 구성 요소가 조회, 유창성, 정확성 및 안전성에 어떻게 기여합니까?
• RQ3 모듈형 프롬프트와 의사 감독이 실제 의료 대화에 미치는 영향은 무엇입니까?
• RQ4 의료 상담 품질 평가에서 ChatGPT를 통한 자동 평가의 효과는 어느 정도인가요?

주요 결과

• Healthcare Copilot은 GPT-4, GPT-3.5, LLaMA2, 및 ChatGLM3와 같은 백본에서 조회 능력, 대화 유창성, 응답 정확성 및 응답 안전성을 크게 향상시킵니다.
• 소거 실험은 Function, Inquiry, Safety, Conversation Memory, History Memory 모듈 각각이 성능에 기여하며 모듈 제거 시 현저한 하락이 나타난 것을 보여줍니다.
• GPT-4가 일반적으로 Healthcare Copilot의 백본으로서 가장 강한 성능을 제공합니다.
• Safety 및 Doctor 모듈은 윤리 준수를 강화하고 필요 시 전문적 개입을 허용합니다.
• 오픈 소스 의료 LLM(예: MedAlpaca-7B)은 Healthcare Copilot 지침 준수에 어려움을 보이며, 개방성이 한계 요인으로 부각됩니다.