[논문 리뷰] "The Human Body is a Black Box": Supporting Clinical Decision-Making with Deep Learning

Mark Sendak, Madeleine Clare Elish외 7명|arXiv (Cornell University)|2019. 11. 19.

Artificial Intelligence in Healthcare and Education참고 문헌 53인용 수 22

한 줄 요약

이 논문은 병원에서 조기 패혈증 검출을 지원하기 위해 임상 워크플로우에 통합된 딥러닝 도구인 Sepsis Watch를 제시한다. 모델의 해석 가능성에만 초점을 맞추는 것이 아니라, 맥락 기반 문제 정의, 이해관계자 간 협업, 임상적 자율성, 지속적인 피드백을 강조하는 사회기술적 접근을 주장한다. 이를 통해 기관의 책임성은 모델 투명성보다는 설계 관행에서 비롯됨을 입증한다.

ABSTRACT

Machine learning technologies are increasingly developed for use in healthcare. While research communities have focused on creating state-of-the-art models, there has been less focus on real world implementation and the associated challenges to accuracy, fairness, accountability, and transparency that come from actual, situated use. Serious questions remain under examined regarding how to ethically build models, interpret and explain model output, recognize and account for biases, and minimize disruptions to professional expertise and work cultures. We address this gap in the literature and provide a detailed case study covering the development, implementation, and evaluation of Sepsis Watch, a machine learning-driven tool that assists hospital clinicians in the early diagnosis and treatment of sepsis. We, the team that developed and evaluated the tool, discuss our conceptualization of the tool not as a model deployed in the world but instead as a socio-technical system requiring integration into existing social and professional contexts. Rather than focusing on model interpretability to ensure a fair and accountable machine learning, we point toward four key values and practices that should be considered when developing machine learning to support clinical decision-making: rigorously define the problem in context, build relationships with stakeholders, respect professional discretion, and create ongoing feedback loops with stakeholders. Our work has significant implications for future research regarding mechanisms of institutional accountability and considerations for designing machine learning systems. Our work underscores the limits of model interpretability as a solution to ensure transparency, accuracy, and accountability in practice. Instead, our work demonstrates other means and goals to achieve FATML values in design and in practice.

연구 동기 및 목표

• 의료 분야에서 기계학습의 실세계 구현에 미치는 격차, 특히 공정성, 책임성, 투명성 측면을 해결하기 위해.
• 전문가 실무 방식을 방해하지 않으면서 AI 도구가 임상 워크플로우에 윤리적이고 효과적으로 통합될 수 있는 방법을 검토하기 위해.
• 모델의 해석 가능성으로서의 해결책에서 벗어나 투명성에 대한 더 넓은 설계 가치와 기관의 책임성으로 초점을 이동시키기 위해.
• Sepsis Watch의 개발 및 구현을 사례 연구로 삼아 임상 의사결정 지원을 위한 책임감 있는 AI의 실현 가능성을 평가하기 위해.
• 의료 환경에서 지속 가능하고 신뢰할 수 있는 AI 통합을 보장하는 핵심 가치와 관행를 특정하기 위해.

제안 방법

• 팀은 전자 건강기록(EHR) 데이터를 기반으로 훈련된 딥러닝 모델로서 패혈증 발병을 예측하는 Sepsis Watch를 개발하였다.
• 이 도구는 독립된 모델이 아니라 기존 병원 워크플로우와 임상 의사결정 과정에 통합된 사회기술적 시스템으로 설계되었다.
• 팀은 임상의, 병원 관리자, IT 직원과의 반복적 공동 설계를 통해 시스템이 임상 맥락과 전문가 기준에 부합하도록 하였다.
• 실제 사용 상황과 변화하는 임상적 필요에 맞추어 지속적인 피드백 루프를 통합하여 시스템을 적응시켰다.
• 의사의 판단을 대체하기보다는 지원하는 방식으로 설계함으로써 임상적 자율성에 대한 존중을 강조하였다.
• 기술적 모델 최적화보다도 맥락 기반 문제 정의와 이해관계자 관계 형성에 우선순위를 두었다.

실험 결과

연구 질문

• RQ1 기계학습 시스템이 전문가의 자율성을 해치지 않으면서 임상 워크플로우에 어떻게 의미 있게 통합될 수 있는가?
• RQ2 모델의 해석 가능성 외에도 공정성, 책임성, 투명성을 확보하기 위해 필수적인 설계 가치와 관행는 무엇인가?
• RQ3 실세계 구현 과제가 의료 분야의 AI 도구 정확성과 신뢰성에 어떤 영향을 미치는가?
• RQ4 피드백 루프와 이해관계자 참여는 임상 환경에서 AI 시스템의 신뢰성과 성능을 유지하는 데 어떤 역할을 하는가?
• RQ5 모델 설명 가능성 외에 사회기술적 설계를 통해 의료 분야의 AI 도구에서 기관의 책임성을 어떻게 달성할 수 있는가?

주요 결과

• Sepsis Watch는 병원 워크플로우에 성공적으로 통합되어, AI 도구가 임상 의사결정 지원을 할 수 있지만 전문가의 판단을 대체하지는 않음을 입증하였다.
• 성공의 가장 중요한 요소는 이해관계자 협업, 맥락 기반 문제 정의, 지속적인 피드백 루프였으며, 이는 모델의 해석 가능성보다 우선시되었다.
• 임상의들은 상황 인식 능력 향상과 조기 패혈증 검출을 경험했지만, 도구는 여전히 임상 전문성의 대체가 아니었다.
• 연구 결과, 모델의 해석 가능성만으로는 임상 AI 시스템의 투명성과 책임성을 확보하는 데 부족함을 드러냈다.
• 기관의 책임성은 기술적 모델 기능이 아닌 지속적인 설계 관행과 전문가 통합을 통해 도출되었다.
• 사회기술적 접근은 단지 모델 성능에 집중하는 시스템보다 더 높은 의료진 신뢰도와 수용도를 이끌어냈다.