[논문 리뷰] Deep Learning for the Digital Pathologic Diagnosis of Cholangiocarcinoma and Hepatocellular Carcinoma: Evaluating the Impact of a Web-based Diagnostic Assistant

Bora Uyumazturk, Amirhossein Kiani외 18명|arXiv (Cornell University)|2019. 11. 18.

Cholangiocarcinoma and Gallbladder Cancer Studies참고 문헌 12인용 수 12

한 줄 요약

이 연구는 전체 슬라이드 이미지에서 간세포성 간암(HCC)과 담도세포암(CC)을 구별하는 웹 기반 딥러닝 진단 보조자에 대한 평가를 수행한다. 독립 테스트 세트에서 84.2%의 정확도를 달성했음에도 불구하고, 보조자로 인해 전반적인 병리의사의 진단 정확도가 향상되지 않았으며, 모델 예측이 병리의사의 판단에 심각한 편향을 초래했다. 즉, 예측이 올바를 땐 성능을 향상시키고, 잘못되었을 땐 성능을 떨어뜨리는 방식으로, AI 보조 병리 진단에서 앵커링 편향의 위험을 드러냈다.

ABSTRACT

While artificial intelligence (AI) algorithms continue to rival human performance on a variety of clinical tasks, the question of how best to incorporate these algorithms into clinical workflows remains relatively unexplored. We investigated how AI can affect pathologist performance on the task of differentiating between two subtypes of primary liver cancer, hepatocellular carcinoma (HCC) and cholangiocarcinoma (CC). We developed an AI diagnostic assistant using a deep learning model and evaluated its effect on the diagnostic performance of eleven pathologists with varying levels of expertise. Our deep learning model achieved an accuracy of 0.885 on an internal validation set of 26 slides and an accuracy of 0.842 on an independent test set of 80 slides. Despite having high accuracy on a hold out test set, the diagnostic assistant did not significantly improve performance across pathologists (p-value: 0.184, OR: 1.287 (95% CI 0.886, 1.871)). Model correctness was observed to significantly bias the pathologist decisions. When the model was correct, assistance significantly improved accuracy across all pathologist experience levels and for all case difficulty levels (p-value: < 0.001, OR: 4.289 (95% CI 2.360, 7.794)). When the model was incorrect, assistance significantly decreased accuracy across all 11 pathologists and for all case difficulty levels (p-value < 0.001, OR: 0.253 (95% CI 0.126, 0.507)). Our results highlight the challenges of translating AI models to the clinical setting, especially for difficult subspecialty tasks such as tumor classification. In particular, they suggest that incorrect model predictions could strongly bias an expert's diagnosis, an important factor to consider when designing medical AI-assistance systems.

연구 동기 및 목표

• 웹 기반 딥러닝 진단 보조자가 HCC와 CC를 구별하는 데 있어 병리의사의 진단 정확도를 향상시키는지 평가하기.
• 모델 예측의 정확성이 병리의사의 의사결정에 미치는 영향, 특히 진단 편향의 위험을 조사하기.
• 실제 임상 워크플로우 시뮬레이션 환경에서 다양한 전문성 수준의 병리의사들 사이에서 보조자의 성능 평가하기.
• 특수병리 진단 분야에 AI 의사결정 지원 도구를 도입하는 타당성과 안전성 검토하기.

제안 방법

• 70장의 H&E 염색 전체 슬라이드 이미지(35장 HCC, 35장 CC)를 사용하여 The Cancer Genome Atlas에서 확보한 DenseNet-121 컨볼루션 신경망을 훈련시켰다.
• 종양 영역에 관심 있는 영역에서 이미지 패치를 추출하여 모델을 훈련 및 검증하고, 내부 검증 세트(26장)와 독립 외부 테스트 세트(80장)에서 성능을 평가하였다.
• 클라우드 배포된 웹 인터페이스를 통해 병리의사들이 선택한 이미지 패치를 업로드하여 실시간 AI 피드백을 받을 수 있도록 하였으며, 임상적 제2의 의견 도구를 시뮬레이션하였다.
• 11명의 병리의사(수련의, 비소화기 전문의, 소화기 전문의, NOC 병리의사 포함)가 교차 설계를 통해 80장의 WSI를 해석하였으며, 절반은 보조자 지원이 있었고, 절반은 지원 없이 진행되었다.
• 혼합효모 로지스틱 회귀 모델을 사용하여 보조자 지원과 모델 예측 정확성의 영향을 평가하였으며, 유의성은 Wald 카이제곱 검정을 통해 확인하였다.
• 슬라이드 수준에서 0.5의 확률 임계값을 사용하여 HCC 또는 CC로 분류하는 방식으로 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 진단 보조자가 HCC와 CC를 구별하는 데 있어 병리의사의 진단 정확도를 향상시키는가?
• RQ2 AI 모델의 예측 정확성이 병리의사의 진단 성능에 어떤 영향을 미치는가?
• RQ3 보조자의 영향은 다양한 경험 수준의 병리의사들 사이에서 다를까?
• RQ4 AI 보조자가 잘못된 예측을 했을 경우, 특히 앵커링 편향이 얼마나 심각하게 발생하는가?

주요 결과

• 딥러닝 모델은 내부 검증 세트에서 88.5%의 정확도를, 독립 외부 테스트 세트 80장의 전체 슬라이드 이미지에서 84.2%의 정확도를 기록하였다.
• 보조자 지원이 있음에도 불구하고 전반적인 병리의사의 진단 정확도 향상은 통계적으로 유의미하지 않았다(p-value: 0.184, OR: 1.287, 95% CI 0.886–1.871).
• AI 모델의 예측이 올바른 경우, 병리의사의 정확도는 유의미하게 향상되었다(p < 0.001, OR: 4.289, 95% CI 2.360–7.794).
• AI 모델의 예측이 잘못된 경우, 병리의사의 정확도는 유의미하게 떨어졌다(p < 0.001, OR: 0.253, 95% CI 0.126–0.507).
• 모델 출력으로 인한 편향 효과는 모든 병리의사의 경험 수준과 사례 난이도 수준에서 일관되게 나타났다.
• 연구는 잘못된 AI 예측이 심지어 숙련된 병리의사마저도 강하게 오도할 수 있는 앵커링 편향의 심각한 위험을 드러내었으며, 이는 AI 보조 진단의 안전성에 심각한 도전을 제기한다.