[논문 리뷰] Unremarkable AI: Fitting Intelligent Decision Support into Critical, Clinical Decision-Making Processes

Qian Yang, Aaron Steinfeld외 1명|arXiv (Cornell University)|2019. 04. 21.

Artificial Intelligence in Healthcare and Education참고 문헌 24인용 수 69

한 줄 요약

이 논문은 임상의 결정 회의에 슬라이드를 생성하고 내장된 기계 예측 정보를 통해 조용히 통합되는 예후 결정지원 도구를 설계하고 현장 테스트를 수행하며, 중환실에서의 방해 없이 워크플로에 친화적인 AI를 목표로 한다. 세 개의 VAD 센터에서의 현장 평가와 다양한 영역의 의사와의 인터뷰를 통해 채택과 일반화 가능성을 평가한다.

ABSTRACT

Clinical decision support tools (DST) promise improved healthcare outcomes by offering data-driven insights. While effective in lab settings, almost all DSTs have failed in practice. Empirical research diagnosed poor contextual fit as the cause. This paper describes the design and field evaluation of a radically new form of DST. It automatically generates slides for clinicians' decision meetings with subtly embedded machine prognostics. This design took inspiration from the notion of "Unremarkable Computing", that by augmenting the users' routines technology/AI can have significant importance for the users yet remain unobtrusive. Our field evaluation suggests clinicians are more likely to encounter and embrace such a DST. Drawing on their responses, we discuss the importance and intricacies of finding the right level of unremarkableness in DST design, and share lessons learned in prototyping critical AI systems as a situated experience.

연구 동기 및 목표

• 예후 결정지원 도구가 임상 현장에서 채택되기 어렵게 만드는 요인을 조사한다.
• 의료진의 기존 의사결정 워크플로우에 매끄럽게 통합되는 DST를 설계한다.
• 의사결정 슬라이드에 은근히 내재된 예후 정보가 수용 가능하고 효과적인지 평가한다.
• 비주목적 DST 설계의 다른 중요한 의료 의사결정에 대한 일반화 가능성을 평가한다.

제안 방법

• DST 예측을 EMR 데이터에서 자동으로 생성된 의사결정 회의 슬라이드의 우측 상단 구석에 삽입한다.
• 일상 워크플로에 종속되도록 Unremarkable Computing에 기반한 현장 기반 설계 프로세스를 사용한다.
• 세 개의 VAD 이식 센터에서 일대일 인터뷰와 관찰된 결정 회의와 함께 다중 현장 연구를 수행한다.
• 프로토타이핑을 위한 합성 환자 사례를 활용하고 임상의 반응과 토의를 평가한다.
• 수용성, 실용성, 일반화 가능성에 대한 통찰을 도출하기 위해 친화도 다이어그램화(affinity diagramming)와 주제 분석을 통해 데이터를 분석한다.

실험 결과

연구 질문

• RQ1 DST가 현재 임상의 의사결정 워크플로우에서 자연스럽게 접촉될 수 있는가?
• RQ2 회의 중 공개적으로 보일 때 임상의가 계산적 의사결정 지원을 수용하는가?
• RQ3 예측 정보를 모퉁이에 배치하는 것이 합의가 다를 때만 의사결정을 느리게 하는 적절한 수준의 비주목적성을 제공하는가?
• RQ4 비주목적 DST 설계가 다른 중요한 의학적 의사결정 회의에 일반화될 수 있는가?

주요 결과

• 임상의는 현장 전반에 걸쳐 의사결정 회의 슬라이드에 DST 출력을 삽입하면 접하게 될 가능성이 높다.
• 회의 맥락에서 예후 DST에 대한 광범위한 수용이 있으며, 추가 맥락과 다른 관점을 제공하는 가치를 인지한다.
• 적절한 비주목성 수준은 미묘하며, DST의 느려지기 효과는 보장되지 않으며 회의 역학과 데이터 실제성에 따라 달라진다.
• 임상의는 검증되고, 지역적으로 적용 가능하며 신뢰할 수 있는 근거에 연결된 모델을 선호한다; 합성 데이터는 해석상의 문제를 제기한다.
• 중간 수준의 임상인들은 명확하고 시각적인 회의 슬라이드로 힘을 얻고, 고위 임상의는 의사결정 의제에 대한 통제권을 유지한다; 계층구조가 DST 사용과 영향에 영향을 준다.
• 이 설계는 학제 간 의사결정 회의를 사용하는 다른 분야에도 일반화될 가능성을 보여주지만 실제 환자 검증과 신뢰가 채택에 있어 중요하다.