[論文レビュー] Rethinking Human-AI Collaboration in Complex Medical Decision Making: A Case Study in Sepsis Diagnosis

Shao Zhang, Jianing Yu+9 more|arXiv (Cornell University)|Sep 17, 2023

Sepsis Diagnosis and Treatment被引用数 7

ひとこと要約

この論文は、既存のAI敗血症予測モジュールが臨床実践で信頼されていない理由を分析し、介入的意思決定段階と将来リスク予測を支援し、実用的な検査提案を行う人間中心のシステム SepsisLab を紹介します。

ABSTRACT

Today's AI systems for medical decision support often succeed on benchmark datasets in research papers but fail in real-world deployment. This work focuses on the decision making of sepsis, an acute life-threatening systematic infection that requires an early diagnosis with high uncertainty from the clinician. Our aim is to explore the design requirements for AI systems that can support clinical experts in making better decisions for the early diagnosis of sepsis. The study begins with a formative study investigating why clinical experts abandon an existing AI-powered Sepsis predictive module in their electrical health record (EHR) system. We argue that a human-centered AI system needs to support human experts in the intermediate stages of a medical decision-making process (e.g., generating hypotheses or gathering data), instead of focusing only on the final decision. Therefore, we build SepsisLab based on a state-of-the-art AI algorithm and extend it to predict the future projection of sepsis development, visualize the prediction uncertainty, and propose actionable suggestions (i.e., which additional laboratory tests can be collected) to reduce such uncertainty. Through heuristic evaluation with six clinicians using our prototype system, we demonstrate that SepsisLab enables a promising human-AI collaboration paradigm for the future of AI-assisted sepsis diagnosis and other high-stakes medical decision making.

研究の動機と目的

• 現在の AI ベースの敗血症モジュールが EHR システムで臨床医に捨てられる理由を理解する。
• 敗血症診断における医療意思決定の中間段階を支援する人間中心の AI アシスタントを設計する。
• SepsisLab を開発し、現在および将来の敗血症リスクを不確実性の可視化とともに予測する。
• 不確実性を減らし最終決定を改善するための実行可能な検査提案を提供する。
• SepsisLab が臨床医の人間-AI コラボレーションの知覚を改善するかどうかを評価する。」],
• method:[
• 六名の臨床医を対象とした探索的形成的研究を Epic Sepsis Module（ESM）を用いて設計ギャップを特定する。
• SepsisLab を設計・実装し、現在および将来の敗血症リスクを予測する AI 支援システムを構築する。
• 不確実性の可視化と反事実検査提案によって意思決定の不確実性を削減する。
• 不確実性を減らし得る上位の検査をランキングさせ、反事実を通じた対話的実験を提供する。
• 臨床のワークフローに合わせたユーザー中心のインターフェースを用いて仮説生成、データ収集、仮説検証（中間決定段階）を促進する。
• 既存の EHR システムへの統合を示すために de-identified データ（MIMIC-III）を用いてプロトタイプを検証する。

提案手法

• デザインギャップを特定するために Epic Sepsis Module（ESM）を用いた6名の臨床医への探索的形成的研究を実施。
• 現在および将来の敗血症リスクを予測する AI 支援システム SepsisLab を設計・実装。
• 不確実性の可視化と対照事実的検査提案を取り入れ、意思決定の不確実性を低減。
• 不確実性を低減できる上位の検査をランキングし、対照事実を通じたインタラクティブな実験を提供。
• 中心となる臨床ワークフローに沿ったユーザー中心のインターフェースを用いて、仮説生成、データ収集、仮説検証を促進（中間決定段階）。
• 既存の EHR システムとの統合を示すために MIMIC-III の非特定化データでプロトタイプを検証。

Figure 1. Existing EPIC Sepsis Module and Our Proposed Sepsis Decision-Support Module in Medical Decision Making Workflow . Our work focuses on sepsis diagnosis, a high-uncertainty, high-stakes, time-sensitive medical decision-making process. Physicians usually take four steps: (1) generating hypoth

実験結果

リサーチクエスチョン

• RQ1 臨床医はなぜ現在の AI 敗血症モジュールを役に立たない、あるいは威圧的だと感じるのか？
• RQ2 敗血症診断において仮説生成、データ収集、仮説検証といった中間的な医療意思決定段階を支援する AI システムはどう設計すべきか？
• RQ3 将来の敗血症リスクを不確実性の可視化と実行可能なデータ収集提案で予測し、最終決定を改善できる AI ツールは作れるか？

主な発見

• 臨床医は既存の Epic Sepsis Module（ESM）が時機を逸し、不正確で、解釈が難しく、実用的な洞察に欠けると感じている。
• 現在の AI パラダイムは協力というより競争として体験され、信頼と導入を損なっている。
• SepsisLab は現在および近未来の敗血症リスクを予測し、不確実性を可視化し、不確実性を減らす検査を推奨することで、人間-AI の協働の可能性を示している。
• 臨床医は、最終予測のみならず中間決定（仮説生成とデータ収集）をサポートする AI を好む。
• ユーザー評価は臨床医が SepsisLab を協力者として捉え、威圧的な予測子ではないとみなしている。

Figure 2. Existing Human-AI Interaction and “Competition” Paradigm. The current sepsis module mainly focuses on supporting the final decision-making stage, yet physicians often find the AI predictions are too late and not helpful.