[논문 리뷰] Human-Centered Tools for Coping with Imperfect Algorithms during Medical Decision-Making

Carrie J. Cai, Emily Reif외 9명|arXiv (Cornell University)|2019. 02. 08.

Artificial Intelligence in Healthcare and Education인용 수 6

한 줄 요약

이 논문은 병리의사가 의료 영상 검색 중에 불완전한 기계학습 알고리즘을 보완하고 적응시킬 수 있도록 돕는 인간 중심의 도구를 소개한다. 이는 진단의 관련성과 신뢰도를 향상시킨다. 병리의사들을 대상으로 평가한 결과, 정확도를 희생시키지 않은 채 진단의 유효성과 사용자 자신감을 높였으며, 알고리즘 오류를 진단하고 실시간으로 모델 행동을 탐색할 수 있게 하였다.

ABSTRACT

Machine learning (ML) is increasingly being used in image retrieval systems for medical decision making. One application of ML is to retrieve visually similar medical images from past patients (e.g. tissue from biopsies) to reference when making a medical decision with a new patient. However, no algorithm can perfectly capture an expert's ideal notion of similarity for every case: an image that is algorithmically determined to be similar may not be medically relevant to a doctor's specific diagnostic needs. In this paper, we identified the needs of pathologists when searching for similar images retrieved using a deep learning algorithm, and developed tools that empower users to cope with the search algorithm on-the-fly, communicating what types of similarity are most important at different moments in time. In two evaluations with pathologists, we found that these refinement tools increased the diagnostic utility of images found and increased user trust in the algorithm. The tools were preferred over a traditional interface, without a loss in diagnostic accuracy. We also observed that users adopted new strategies when using refinement tools, re-purposing them to test and understand the underlying algorithm and to disambiguate ML errors from their own errors. Taken together, these findings inform future human-ML collaborative systems for expert decision-making.

연구 동기 및 목표

• 병리의사가 의료적으로 관련성이 있는 유사 영상을 검색하는 데 있어 기계학습 알고리즘의 한계를 해결하기 위해.
• 임상적 판단에 기반해 알고리즘 기반 유사성 결과를 동적으로 보완할 수 있는 상호작용 도구를 설계하기 위해.
• 이러한 도구가 진단의 유효성, 신뢰도, 알고리즘 결정에 대한 사용자 이해도를 향상시키는지 평가하기 위해.
• 사용자가 불완전한 기계학습 시스템과 상호작용할 때 어떻게 진단 전략을 적응시킬 수 있는지 탐색하기 위해.

제안 방법

• 병리의사가 영상 검색 중에 실시간으로 유사성 기준을 조정할 수 있도록 상호작용 가능한 시각화 도구를 개발하였다.
• 임상적으로 관련성이 있는 영상 특징을 기준으로 유사성 기준을 조정할 수 있도록 피드백 메커니즘을 통합하였다.
• 알고리즘 오류와 병리의사의 진단 오류를 구분하는 데 도움이 되는 도구를 설계하였다.
• 실무 병리의사들을 대상으로 두 번의 사용자 연구를 수행하여 도구의 사용성, 진단 정확도, 신뢰도를 평가하였다.
• 사용자 행동과 의사결정 전략의 변화를 평가하기 위해 정량적 및 정성적 분석을 사용하였다.
• 모델 행동을 이해하고 결과를 보완하기 위해 해석 가능성 기법(예: 중요도 맵)을 적용하였다.

실험 결과

연구 질문

• RQ1 병리의사들은 딥러닝 모델에서 유도된 불완전한 유사성 결과를 진단 의사결정 과정에서 효과적으로 어떻게 다룰 수 있는가?
• RQ2 상호작용 기반 보완 도구는 검색된 영상의 진단 유효성을 어느 정도 향상시키는가?
• RQ3 보완 도구 사용이 기계학습 알고리즘에 대한 사용자 신뢰도에 어떤 영향을 미치는가?
• RQ4 사용자가 적응형이고 불완전한 알고리즘과 상호작용할 때 새로운 진단 전략을 어떻게 도입하는가?
• RQ5 보완 도구는 알고리즘 오류와 임상 오류를 분리하는 데 도움이 되는가?

주요 결과

• 보완 도구는 표준 알고리즘 결과에 비해 검색된 영상의 진단 유효성을 크게 향상시켰다.
• 사용자들은 알고리즘이 불완전한 결과를 내더라도 상호작용 도구를 사용할 경우 알고리즘에 더 높은 신뢰도를 보였다.
• 진단 정확도에 손실이 없음에도 불구하고, 병리의사들은 전통적인 정적 인터페이스보다 보완 인터페이스를 선호하였다.
• 사용자들은 모델 행동을 테스트하거나 알고리즘 오류와 임상 오류를 분리하는 데 도구를 사용하는 등 새로운 전략을 도입하였다.
• 도구를 통해 사용자들은 시스템을 모델 탐색용으로 재사용할 수 있었고, 알고리즘의 한계를 더 깊이 이해할 수 있었다.
• 시스템은 사용자가 영역 전문 지식을 기반으로 출력을 적극적으로 조정하는 협업형 인간-AI 워크플로우를 지원하였다.