[論文レビュー] Ignore, Trust, or Negotiate: Understanding Clinician Acceptance of AI-Based Treatment Recommendations in Health Care

Venkatesh Sivaraman, Leigh A. Bukowski+3 more|arXiv (Cornell University)|Jan 31, 2023

Artificial Intelligence in Healthcare and Education被引用数 7

ひとこと要約

本研究では、解釈可能なAI意思決定支援ツールを用いて、実際の敗血症症例を24名の臨床医が評価する混合研究手法を用い、集中治療医のAIベース治療提案への受容性を調査した。主な発見として、臨床医は単に信頼するか無視するかの二元的反応ではなく、部分的に採用・拒否・延期するなど、AI提案と「交渉」を繰り返す傾向にあることが判明した。これは、治療を焦点にしたAIシステムにおいて、細分化され、根拠に基づいた人間とAIの協働が不可欠であることを示唆している。

ABSTRACT

Artificial intelligence (AI) in healthcare has the potential to improve patient outcomes, but clinician acceptance remains a critical barrier. We developed a novel decision support interface that provides interpretable treatment recommendations for sepsis, a life-threatening condition in which decisional uncertainty is common, treatment practices vary widely, and poor outcomes can occur even with optimal decisions. This system formed the basis of a mixed-methods study in which 24 intensive care clinicians made AI-assisted decisions on real patient cases. We found that explanations generally increased confidence in the AI, but concordance with specific recommendations varied beyond the binary acceptance or rejection described in prior work. Although clinicians sometimes ignored or trusted the AI, they also often prioritized aspects of the recommendations to follow, reject, or delay in a process we term "negotiation." These results reveal novel barriers to adoption of treatment-focused AI tools and suggest ways to better support differing clinician perspectives.

研究の動機と目的

• 臨床医が現実の臨床意思決定文脈でAIベースの治療提案とどのように関わるかを理解すること。
• 解釈可能性の説明が、臨床医のAI提案に対する信頼性と受容性に与える影響を調査すること。
• 特に高不確実性で治療を焦点にした状況において、二元的受容または拒否を超えた人間とAIの協働のダイナミクスを明らかにすること。
• 治療ガイドラインが曖昧または対立する状況における、臨床現場でのAIツール受容の障壁を同定すること。
• 受容ではなく、交渉を支援するような、AI意思決定支援システムを設計するためのフレームワークを提言すること。

提案手法

• MIMIC-IV集中治療室データを用いて学習したAI Clinicianモデルを基盤に、敗血症治療提案のための解釈可能なAI意思決定支援インターフェースを開発した。
• 24名の集中治療医を対象に、実際の患者症例におけるAI支援意思決定を実施した混合研究を実施した。
• 思考 aloud法を用いて、意思決定プロセス、信頼の調整、交渉行動を含む、リアルタイムの意思決定プロセスを記録した。
• AIモデルの状態クラスタリング部に焦点を当てたSHAPベースの説明を提供し、透明性を向上させた。
• 質的データをテーマ分析を用いて分析し、臨床医がAI提案とどのように関わるかのパターンを同定した。
• 臨床医のAI提案との一致度を評価し、説明が信頼性および意思決定に与える影響を分析した。

Figure 1. Overview of the AI Clinician’s training methodology, summarized from (Komorowski et al . , 2018 ) . The model takes as input a set of historical trajectories comprising patient vitals, labs, and treatments discretized at 4-hour intervals. Each timestep is represented as one of 750 differen

実験結果

リサーチクエスチョン

• RQ1 治療ガイドラインが曖昧または矛盾する状況において、臨床医は実際の敗血症症例に対してAIベースの治療提案にどのように反応するか。
• RQ2 解釈可能性の説明は、AI支援治療計画における臨床医の信頼性と意思決定にどの程度影響を及ぼすか。
• RQ3 臨床医は主にAI提案を信頼するか、無視するか、それとも交渉するか。そして、これらの行動を引き起こす要因は何か。
• RQ4 AIの説明が存在する場合、治療提案の信頼性および有用性はどのように変化するか。
• RQ5 臨床現場における治療を焦点にしたAIツールの受容に、主な障壁となる要因は何か。

主な発見

• 臨床医は頻繁にAI提案と「交渉」を行い、二元的受容・拒否ではなく、特定の要素を部分的に採用・拒否・延期するなど、選択的に対応していた。
• 説明が臨床医のAIに対する信頼性を顕著に高めたが、一貫した提案との一致度の向上にはつながらなかった。
• 説明が提供されても、臨床医はしばしば自らの臨床的判断をAIの提案よりも優先した。特に、提案が確立されたプロトコルや経験に反する場合に顕著であった。
• 本研究では、臨床医がAIを意思決定者としてではなく、自らの意思決定を支援する追加的証拠の源として捉えていることが明らかになった。
• 臨床医がAI提案を解釈・活用する方法に顕著な差が見られたことから、AI設計に「ワンサイズ fits all」のアプローチは不十分であることが示された。
• 本研究の結果から、治療を焦点にしたAIツールは、臨床医を置き換えるのではなく、透明性・モジュール性・交渉可能性を備えた、個別化され、文脈に応じた意思決定を支援する仕組みとして設計されるべきであると示唆された。

Figure 2. Main interface in the AI Clinician Explorer, designed to support browsing patient trajectories, interpreting model recommendations and comparing predicted treatment values against historical clinical actions. (a) The timestep control allows the user to step through the patient’s ICU stay a