[논문 리뷰] Ignore, Trust, or Negotiate: Understanding Clinician Acceptance of AI-Based Treatment Recommendations in Health Care

Venkatesh Sivaraman, Leigh A. Bukowski외 3명|arXiv (Cornell University)|2023. 01. 31.

Artificial Intelligence in Healthcare and Education인용 수 7

한 줄 요약

이 연구는 실세균성 감염 환자 사례를 이용한 해석 가능한 인공지능 의사결정 지원 도구를 통해 24명의 임상의가 인공지능 기반 치료 권고를 어떻게 수용하는지 다각도 연구 방법을 통해 조사한다. 주요 발견은 임상의들이 단순히 신뢰하거나 무시하는 것이 아니라, 일부 권고 사항을 선택적으로 수용하거나 기각하거나 유보함으로써 항상 '협상'하는 경향이 있다는 점이며, 이는 치료 중심의 인공지능 시스템에서 세분화되고 근거 기반의 인간-인간지능 협업이 필요하다는 점을 시사한다.

ABSTRACT

Artificial intelligence (AI) in healthcare has the potential to improve patient outcomes, but clinician acceptance remains a critical barrier. We developed a novel decision support interface that provides interpretable treatment recommendations for sepsis, a life-threatening condition in which decisional uncertainty is common, treatment practices vary widely, and poor outcomes can occur even with optimal decisions. This system formed the basis of a mixed-methods study in which 24 intensive care clinicians made AI-assisted decisions on real patient cases. We found that explanations generally increased confidence in the AI, but concordance with specific recommendations varied beyond the binary acceptance or rejection described in prior work. Although clinicians sometimes ignored or trusted the AI, they also often prioritized aspects of the recommendations to follow, reject, or delay in a process we term "negotiation." These results reveal novel barriers to adoption of treatment-focused AI tools and suggest ways to better support differing clinician perspectives.

연구 동기 및 목표

• 임상의들이 실제 임상 의사결정 맥락에서 인공지능 기반 치료 권고와 어떻게 상호작용하는지 이해하기 위해
• 해석 가능성 설명이 임상의의 인공지능 권고에 대한 자신감과 수용도에 미치는 영향을 조사하기 위해
• 특히 높은 불확실성과 치료 중심의 상황에서 이분법적 수용 또는 기각을 초월한 인간-인간지능 협업의 역학을 탐구하기 위해
• 치료 지침이 모호하거나 둔감한 임상 환경에서 인공지능 도구 수용의 장벽을 규명하기 위해
• 수용을 위한 것이 아니라 협상이 가능한 인공지능 의사결정 지원 시스템 설계를 위한 프레임워크 제안하기 위해

제안 방법

• 실제 MIMIC-IV 집중치료실 데이터를 기반으로 훈련된 AI 클리니시언 모델을 사용하여 해석 가능한 인공지능 기반의 세균성 감염 치료 권고 의사결정 지원 인터페이스를 개발하였다.
• 실제 환자 사례를 바탕으로 24명의 집중치료 임상의가 인공지능 지원 의사결정을 내리는 혼합 방법 연구를 수행하였다.
• 실시간 의사결정 과정, 즉 추론, 신뢰 조정, 협상 행동을 포착하기 위해 생각을 말하는 프로토콜을 사용하였다.
• 인공지능 모델의 상태 군집화 구성 요소에 초점을 맞춘 SHAP 기반 설명을 제공하여 투명성을 향상시켰다.
• 주제 분석을 통해 임상의들이 인공지능 권고와의 상호작용 패턴을 식별하기 위해 정성적 데이터를 분석하였다.
• 임상의의 인공지능 권고 수용도를 평가하고, 설명이 자신감과 의사결정에 미치는 영향을 분석하였다.

Figure 1. Overview of the AI Clinician’s training methodology, summarized from (Komorowski et al . , 2018 ) . The model takes as input a set of historical trajectories comprising patient vitals, labs, and treatments discretized at 4-hour intervals. Each timestep is represented as one of 750 differen

실험 결과

연구 질문

• RQ1 치료 지침이 불확실하거나 상충할 경우, 임상의들은 실제 세균성 감염 환자 사례에서 인공지능 기반 치료 권고에 어떻게 반응하는가?
• RQ2 해석 가능성 설명은 인공지능 지원 치료 기획에서 임상의의 자신감과 의사결정에 어느 정도 영향을 미치는가?
• RQ3 임상의들은 주로 인공지능 권고를 신뢰하거나 무시하는가, 아니면 협상하는가? 이러한 행동을 이끄는 요인은 무엇인가?
• RQ4 인공지능 설명의 존재가 치료 권고의 신뢰성과 유용성에 어떤 영향을 미치는가?
• RQ5 임상 실무에서 치료 중심 인공지능 도구 수용의 주요 장벽은 무엇인가?

주요 결과

• 임상의들은 자주 인공지능 권고와 '협상'을 벌였으며, 이는 이분법적 수용 또는 기각이 아닌 특정 구성 요소를 선택적으로 수용하거나 기각하거나 유보하는 방식이었다.
• 설명이 임상의의 인공지능에 대한 자신감을 크게 높였지만, 권고 수용도가 일관되게 증가하지는 않았다.
• 설명이 있더라도 임상의들은 종종 권고가 기존 지침이나 개인 경험과 충돌할 경우 자신의 임상 판단을 우선시했다.
• 이 연구는 임상의들이 인공지능을 의사결정자로 보지 않고, 자신의 의사결정을 뒷받침하는 추가적 근거의 원천으로 본다는 점을 드러냈다.
• 임상의들이 인공지능 권고를 해석하고 사용하는 방식에 뚜렷한 차이가 있었으며, 이는 인공지능 설계에 일률적인 접근 방식이 부적절하다는 것을 시사한다.
• 연구 결과는 치료 중심 인공지능 도구가 임상의를 대체하기보다는 투명하고 모듈화되며 협상 가능한 권고를 통해 개인화되고 맥락에 민감한 의사결정을 지원하도록 설계되어야 한다는 점을 시사한다.

Figure 2. Main interface in the AI Clinician Explorer, designed to support browsing patient trajectories, interpreting model recommendations and comparing predicted treatment values against historical clinical actions. (a) The timestep control allows the user to step through the patient’s ICU stay a