[論文レビュー] Exploring the Inquiry-Diagnosis Relationship with Advanced Patient Simulators

Zhaocheng Liu, Qiufen Tu+8 more|ArXiv.org|Jan 16, 2025

Simulation-Based Education in Healthcare被引用数 3

ひとこと要約

この論文は、実際の医師-患者の対話戦略に導かれたデータ駆動型の患者シミュレータを構築し、オンライン医療相談における問診質が診断に与える影響を研究し、この文脈でリービヒの法則を示しています。

ABSTRACT

Recently, large language models have shown great potential to transform online medical consultation. Despite this, most research targets improving diagnostic accuracy with ample information, often overlooking the inquiry phase. Some studies try to evaluate or refine doctor models by using prompt-engineered patient agents. However, prompt engineering alone falls short in accurately simulating real patients. We need to explore new paradigms for patient simulation. Furthermore, the relationship between inquiry and diagnosis remains unexplored. This paper extracts dialogue strategies from real doctor-patient conversations to guide the training of a patient simulator. Our simulator shows higher anthropomorphism and lower hallucination rates, using dynamic dialogue strategies. This innovation offers a more accurate evaluation of diagnostic models and generates realistic synthetic data. We conduct extensive experiments on the relationship between inquiry and diagnosis, showing they adhere to Liebig's law: poor inquiry limits diagnosis effectiveness, regardless of diagnostic skill, and vice versa. The experiments also reveal substantial differences in inquiry performance among models. To delve into this phenomenon, the inquiry process is categorized into four distinct types. Analyzing the distribution of inquiries across these types helps explain the performance differences. The weights of our patient simulator are available https://github.com/PatientSimulator/PatientSimulator.

研究の動機と目的

• authentic doctor-patient conversations から現実世界の患者対話戦略を抽出する。
• synthesized data を用いて現実の患者行動を忠実に模倣する患者シミュレータを訓練する。
• 問診の質と診断能力が最終診断にどのように相互作用するかを調査する。
• 問診タイプを分類し、モデル間の分布を分析して性能差を説明する。

提案手法

• curated set of dialogue strategy tags を用いて実際の医師-患者の対話を注釈付けする。
• 医療記録と戦略フローを用いた文脈内学習で医師-患者の対話を合成する。
• 実在的な患者応答を出力するようLoRA on Qwen2.5-72B-Instruct を用いて患者シミュレータをファインチューニングする。
• 固定ラウンドの問診記録を生成するためにシミュレータを使用し、跨モデルの診断精度を評価する。
• 一貫した評価パイプラインを用いて異なる医師モデル間の診断結果を抽出・比較するワークフローをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 問診の質が診断能力の異なる状況下で診断精度にどのように影響するか？
• RQ2 異なる問診戦略（タイプ）が最終診断に影響を与え、モデル差が性能差をどのように説明するか？
• RQ3 データ駆動型の患者シミュレータは、 prompt-エンジニアリングベースのベースラインよりも現実的な問診-診断ダイナミクスをより正確に再現できるか？
• RQ4 4種類の問診タイプと、それらの分布がモデルやラウンド間でどのように変化するか？

主な発見

• 問診と診断は Liebig’s law に従う：問診の質が低いと診断効果が制限され、診断能力が高くても同様に影響を受ける。
• われわれの患者シミュレータはベースラインよりヒューマノモルフィズム（HR）を抑え、ア Anthropomorphism（AS）が高いが、GPT-4o ベースのAgentClinicよりは若干高い不関連応答（IRR）を示す。
• モデル間で問診品質に有意な差があり、Claude-3-5-sonnet は比較的問診性能が劣る。
• より多くの問診ラウンドは一般に診断精度を高め、モデルごとに問診タイプの割り当て方に差がある。
• 特に既知の症状の特定に重きを置くと、いくつかの設定で全体的な診断精度が低下する。
• 4つの問診タイプが同定された： chief complaint、specification of known symptoms、accompanying symptoms、family/medical history。