[論文レビュー] Towards Trustworthy Automatic Diagnosis Systems by Emulating Doctors' Reasoning with Deep Reinforcement Learning

Arsène Fansi Tchango, Rishab Goel+4 more|arXiv (Cornell University)|Oct 13, 2022

Machine Learning in Healthcare被引用数 9

ひとこと要約

本論文は、患者との対話中に深刻な疾患を優先し、動的な鑑別診断を生成することで、医師の臨床的推論を模倣する深層強化学習フレームワークを提案する。探索・確認のダイナミクスと重症度に配慮した質問を明示的にモデル化することにより、相互作用の質と信頼性が向上し、先行手法と比較して解釈可能性と臨床的妥当性が向上した。予測精度は競争力があり、優れた性能を発揮する。

ABSTRACT

The automation of the medical evidence acquisition and diagnosis process has recently attracted increasing attention in order to reduce the workload of doctors and democratize access to medical care. However, most works proposed in the machine learning literature focus solely on improving the prediction accuracy of a patient's pathology. We argue that this objective is insufficient to ensure doctors' acceptability of such systems. In their initial interaction with patients, doctors do not only focus on identifying the pathology a patient is suffering from; they instead generate a differential diagnosis (in the form of a short list of plausible diseases) because the medical evidence collected from patients is often insufficient to establish a final diagnosis. Moreover, doctors explicitly explore severe pathologies before potentially ruling them out from the differential, especially in acute care settings. Finally, for doctors to trust a system's recommendations, they need to understand how the gathered evidences led to the predicted diseases. In particular, interactions between a system and a patient need to emulate the reasoning of doctors. We therefore propose to model the evidence acquisition and automatic diagnosis tasks using a deep reinforcement learning framework that considers three essential aspects of a doctor's reasoning, namely generating a differential diagnosis using an exploration-confirmation approach while prioritizing severe pathologies. We propose metrics for evaluating interaction quality based on these three aspects. We show that our approach performs better than existing models while maintaining competitive pathology prediction accuracy.

研究の動機と目的

• 予測精度の最大化に特化した既存の自動診断システムに、臨床的妥当性と解釈可能性に欠けるという問題に対処する。
• 医師が鑑別診断を用い、深刻な病態を優先する方法を模倣することで、病歴聴取プロセスをより忠実に再現する。
• 証拠から診断に至る明確な推論経路を保証することで、相互作用が透明かつ追跡可能であるようにし、システムの信頼性を向上させる。
• 最終予測精度だけでなく、臨床的推論の原則に基づいた相互作用の質を評価するための新しい評価指標を開発する。
• 強化学習エージェントが、現実世界の医療意思決定を反映する高品質で人間らしい診断対話を生成できることを示す。

提案手法

• 本システムは、診断エージェントと患者の間の対話をシミュレートするための深層強化学習フレームワークを用いる。エージェントは証拠を収集するために質問を選択する。
• エージェントは、対話の進行に応じて動的な鑑別診断リストを維持・更新し、進化する臨床的推論を反映する。
• 行動空間には質問選択と鑑別診断の生成の両方が含まれ、報酬関数は深刻な疾患を最初に除外することを優先するように設計されている。
• 報酬関数は、最終診断の正確性、深刻な病態の優先順位付け、鑑別診断プロセスの整合性の3つの要素を含む。
• 状態表現には、患者の症状、危険因子、および現在の鑑別診断が含まれ、ポリシー勾配法を用いてエンドツーエンドで学習される。
• ユーザーが証拠がどのように進化する鑑別診断に寄与したかを追跡できるため、本フレームワークは解釈可能性を支援する。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、人間の医師が用いる探索・確認フレームワークを反映する診断対話を生成できるか？
• RQ2 質問段階で深刻な病態を優先することで、診断対話の臨床的信頼性と質が向上するか？
• RQ3 新しい証拠に応じて意味的に進化する動的な鑑別診断リストをモデルが維持できるか？（単一の最終病態を予測するのではなく。）
• RQ4 提案された相互作用の質に関する指標は、臨床的妥当性と解釈可能性の側面を効果的に捉えているか？
• RQ5 モデルは、診断推論プロセスの質を向上させつつも、競争力のある病理予測精度を達成できるか？

主な発見

• 提案手法は、動的な鑑別診断リストの進化を示すことで、既存のモデルと比較してより臨床的妥当性があり解釈可能な診断対話を生成した。
• モデルは質問戦略において深刻な病態を明確に優先し、対話の初期段階で高リスクの状態を常に探索した。
• システムは競争力のある病理予測精度を達成し、最終的な真の鑑別診断が ['急性ジストロフィー反応（深刻）': 0.627, 'マイアスセニアグリス': 0.373] であったため、臨床的結果と強い整合性を示した。
• 重症度に配慮した報酬関数の使用により、特に急性ケア状況において、より効果的で安全な診断経路が得られた。
• 提案された評価指標は、標準的な正確性ベースのベンチマークが見過ごす臨床的推論の側面を効果的に捉えていた。
• モデルが対話の進行に伴い鑑別診断を維持・精緻化できる能力は、単一病態予測モデルと比較して顕著な改善を示している。