[論文レビュー] Healthcare Copilot: Eliciting the Power of General LLMs for Medical Consultation

Zhiyao Ren, Yibing Zhan+3 more|arXiv (Cornell University)|Feb 20, 2024

Medical Coding and Health Information被引用数 6

ひとこと要約

Healthcare Copilot は、Dialogue、Memory、Processing のモジュールを指揮することで医療相談のための一般的な LLM を強化し、ChatGPT を用いた自動評価スキームで評価します。これにより、backbones にわたって inquiry、fluency、accuracy、safety が向上します。

ABSTRACT

The copilot framework, which aims to enhance and tailor large language models (LLMs) for specific complex tasks without requiring fine-tuning, is gaining increasing attention from the community. In this paper, we introduce the construction of a Healthcare Copilot designed for medical consultation. The proposed Healthcare Copilot comprises three main components: 1) the Dialogue component, responsible for effective and safe patient interactions; 2) the Memory component, storing both current conversation data and historical patient information; and 3) the Processing component, summarizing the entire dialogue and generating reports. To evaluate the proposed Healthcare Copilot, we implement an auto-evaluation scheme using ChatGPT for two roles: as a virtual patient engaging in dialogue with the copilot, and as an evaluator to assess the quality of the dialogue. Extensive results demonstrate that the proposed Healthcare Copilot significantly enhances the capabilities of general LLMs for medical consultations in terms of inquiry capability, conversational fluency, response accuracy, and safety. Furthermore, we conduct ablation studies to highlight the contribution of each individual module in the Healthcare Copilot. Code will be made publicly available on GitHub.

研究の動機と目的

• 微調整なしで医療相談に一般的な LLM を活用する動機付け。
• 安全で複数ラウンドの患者対話を可能にするコパイロットフレームワークの設計。
• 現在および過去の患者情報を保持するメモリの組み込み。
• 患者と臨床医のために診療を要約するポストプロセッシングレポートを提供。

提案手法

• Dialogue、Memory、Processing の三コンポーネントアーキテクチャを導入。
• タスクを分類する Function モジュール（診断、説明、推奨）を実装し、複数ラウンドの問合せをガイド。
• 倫理、安全性、専門的監視を保証する Safety および Doctor モジュールを追加。
• Conversation Memory と History Memory を備えた Memory で文脈を維持し、履歴を要約。
• Processing モジュールは診療の要約とレポート生成を提供。

実験結果

リサーチクエスチョン

• RQ1 微調整なしで一般的な LLM ベースの copilot は医療相談の質を向上させることができるか？
• RQ2 Dialogue、Memory、Processing の各コンポーネントは、問い合わせ、流暢さ、正確さ、安全性にどう寄与するか？
• RQ3 モジュラープロンプトと医師の監督が実世界の医療対話に与える影響は？
• RQ4 ChatGPT による自動評価が医療相談の質の評価にどれだけ効果的か？

主な発見

• Healthcare Copilot は、GPT-4、GPT-3.5、LLaMA2、ChatGLM3 のような backbones に対して、問い合わせ能力、会話の流暢さ、応答の正確さ、応答の安全性を大幅に向上させます。
• アブレーションにより、Function、Inquiry、Safety、Conversation Memory、History Memory の各モジュールが性能に寄与していることが示され、モジュールを削除すると著Ladiesな低下が見られます。
• GPT-4 は一般的に Healthcare Copilot のバックボーンとして最も強いパフォーマンスを提供します。
• Safety および Doctor モジュールは倫理的準拠を強化し、必要に応じて専門的介入を可能にします。
• オープンソースの医療 LLM（例：MedAlpaca-7B）は Healthcare Copilot のガイドラインの遵守に課題を示し、オープン性が制限要因であることを強調しています。