[論文レビュー] Towards Conversational Diagnostic AI

Tao Tu, Anil Palepu+23 more|arXiv (Cornell University)|Jan 11, 2024

Clinical Reasoning and Diagnostic Skills被引用数 100

ひとこと要約

診断対話に最適化されたLLMベースのシステム AMIE は、自己プレイによる模擬学習と推論の連鎖戦略を用い、ブラインド化された遠隔OSCE研究でほとんどの評価軸においてプライマリケア医を上回った。

ABSTRACT

At the heart of medicine lies the physician-patient dialogue, where skillful history-taking paves the way for accurate diagnosis, effective management, and enduring trust. Artificial Intelligence (AI) systems capable of diagnostic dialogue could increase accessibility, consistency, and quality of care. However, approximating clinicians' expertise is an outstanding grand challenge. Here, we introduce AMIE (Articulate Medical Intelligence Explorer), a Large Language Model (LLM) based AI system optimized for diagnostic dialogue. AMIE uses a novel self-play based simulated environment with automated feedback mechanisms for scaling learning across diverse disease conditions, specialties, and contexts. We designed a framework for evaluating clinically-meaningful axes of performance including history-taking, diagnostic accuracy, management reasoning, communication skills, and empathy. We compared AMIE's performance to that of primary care physicians (PCPs) in a randomized, double-blind crossover study of text-based consultations with validated patient actors in the style of an Objective Structured Clinical Examination (OSCE). The study included 149 case scenarios from clinical providers in Canada, the UK, and India, 20 PCPs for comparison with AMIE, and evaluations by specialist physicians and patient actors. AMIE demonstrated greater diagnostic accuracy and superior performance on 28 of 32 axes according to specialist physicians and 24 of 26 axes according to patient actors. Our research has several limitations and should be interpreted with appropriate caution. Clinicians were limited to unfamiliar synchronous text-chat which permits large-scale LLM-patient interactions but is not representative of usual clinical practice. While further research is required before AMIE could be translated to real-world settings, the results represent a milestone towards conversational diagnostic AI.

研究の動機と目的

• AIを通じて医療における診断対話のアクセス性、一貫性、品質を向上させる。
• 模擬環境での自己プレイを通じて、さまざまな疾病と状況にわたる学習を規模拡大する。
• 問診、診断推論、マネジメント、コミュニケーション、共感を捉える評価フレームワークを開発・検証する。

提案手法

• 実世界データと模擬データを用いて基盤LLM（PaLM-2）を医療対話向けに微調整する。
• 継続的学習のための内ループと外ループを持つ自己対話型の模擬診断対話環境を作成する。
• 会話履歴に基づいて応答を定置化する推論時の推論チェーンを実装する。
• 患者・医師・モデレーターの三者設定のビネット駆動の模擬対話を設計し、フィードバックのためのクリティックを追加する。
• 患者役と医師役、医療QA、推論、EHRノートの要約に関する指示チューニングを実施する。
• 検証済みの患者俳優を用いた149件のケースでAMIEとPCPを比較するブラインドな遠隔OSCEを実施し、専門医の評価と事後質問票を併用する。

実験結果

リサーチクエスチョン

• RQ1 AMIE は複数疾患診断対話設定において、プライマリケア医と同等またはそれを上回る診断精度を達成できるか。
• RQ2 AMIE は問診、診断推論、マネジメント計画、コミュニケーション、共感の軸でどのように性能を示すか。
• RQ3 テキストチャットベースの診断相談の限界は何であり、実世界の臨床翻訳にはどのような手順が必要か。

主な発見

• AMIE はOSCE研究でプライマリケア医より診断精度が高かった。
• AMIE は専門医の視点で32軸中28軸を PCP を上回った。
• AMIE は患者役視点で26軸中24軸を PCP を上回った。
• AMIE は評価軸の大多数で PCP を上回ると評価され、残りは非劣位であった。
• 評価にはカナダ、英国、インドの149ケースシナリオが用いられ、20名の PCP および検証済み患者俳優を使用した。
• AMIE は各対話ターンで回答を段階的に洗練させる推論チェーン戦略を採用した。