[논문 리뷰] Trustworthy clinical AI solutions: a unified review of uncertainty quantification in deep learning models for medical image analysis

Benjamin Lambert, Florence Forbes외 4명|arXiv (Cornell University)|2022. 10. 05.

Explainable Artificial Intelligence (XAI)인용 수 13

한 줄 요약

이 논문은 의료 영상 분석을 위한 딥러닝에서의 불확실성 정량화(UQ) 방법에 대한 종합적인 리뷰를 제시하며, 분류 및 세분화 작업에서 검토된 130篇의 동료 심사 논문을 평가한다. 베이지안 딥러닝, 몬테카를로 드롭아웃, 콫포멀 예측 등 UQ 기법을 통합하여 모델 신뢰성 향상, 모델 실패 식별, 校정된 신뢰도 추정을 통한 임상 의사결정 지원에 기여함을 입증한다.

ABSTRACT

The full acceptance of Deep Learning (DL) models in the clinical field is rather low with respect to the quantity of high-performing solutions reported in the literature. Particularly, end users are reluctant to rely on the rough predictions of DL models. Uncertainty quantification methods have been proposed in the literature as a potential response to reduce the rough decision provided by the DL black box and thus increase the interpretability and the acceptability of the result by the final user. In this review, we propose an overview of the existing methods to quantify uncertainty associated to DL predictions. We focus on applications to medical image analysis, which present specific challenges due to the high dimensionality of images and their quality variability, as well as constraints associated to real-life clinical routine. We then discuss the evaluation protocols to validate the relevance of uncertainty estimates. Finally, we highlight the open challenges of uncertainty quantification in the medical field.

연구 동기 및 목표

• 딥러닝 모델의 '블랙박스' 성격과 예측에 대한 과도한 자신감으로 인한 임상적 수용 저항을 해결하기 위해.
• 불확실성 정량화(UQ)가 인공지능 기반 의료 영상 분석의 해석 가능성, 안전성, 신뢰도 향상에 기여하는 역할을 평가하기 위해.
• 의료 영상 분류 및 세분화에 적용된 UQ 방법에 대한 체계적 리뷰를 제공하여 임상 적용 가능성을 중점적으로 다루기 위해.
• UQ 신뢰성 평가 프로토콜을 평가하고 현재 검증 관행에서의 격차를 규명하기 위해.
• 실제 임상 워크플로우에 신뢰할 수 있는 UQ를 도입하는 데 있어 남아 있는 주요 과제와 도전 과제를 부각하기 위해.

제안 방법

• 의료 영상 분석을 위한 딥러닝에서의 UQ에 관한 130편의 동료 심사 논문을 대상으로 한 체계적 리뷰로, 분류 및 세분화 작업을 포함한다.
• UQ 기법을 베이지안 딥러닝, 몬테카를로 드롭아웃, 콕포멀 예측, 증거 기반 딥러닝, 특징 기반 접근법으로 분류한다.
• 불확실성 추정을 통합한 모델 아키텍처 및 학습 전략 분석을 포함하며, 보조 네트워크 및 가우시안 프로세스를 포함한다.
• 교정 오차, 예측 엔트로피, 커버리지 보장 등의 지표를 사용하여 불확실성 추정 기법을 평가한다.
• 테스트 타임 증강, MC 드롭아웃, 분포 이탈에 대한 강건성 등의 프레임워크를 기반으로 평가 프로토콜을 분류한다.
• 모드(MRI, CT, X-ray, 초음파, 조직병리학) 및 응용 분야(종양 세분화, 낭종 탐지 등) 간의 통합적 분석을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 의료 영상 작업 및 모드에서 다양한 불확실성 정량화 방법의 성능은 어떻게 다른가?
• RQ2 임상 딥러닝 모델에서 불확실성 추정의 신뢰성 검증을 위한 가장 효과적인 평가 프로토콜은 무엇인가?
• RQ3 불확실성 정량화는 임상적 신뢰를 어떻게 향상시키고, AI 보조 진단에서의 침묵적 실패를 줄일 수 있는가?
• RQ4 실제 임상 환경에서 신뢰할 수 있는 UQ를 갖춘 딥러닝 모델을 도입하는 데 있어 핵심적인 제한 사항과 열린 과제는 무엇인가?
• RQ5 불확실성 추정은 의료 영상에서의 모델 실패 양태, 데이터 품질 문제, 분포 이탈과 어떻게 관련이 있는가?

주요 결과

• 불확실성 정량화는 임상의가 고위험 또는 모호한 예측를 식별하는 데 도움이 되는 신뢰도 추정을 제공함으로써 모델의 해석 가능성 향상에 기여한다.
• 몬테카를로 드롭아웃, 베이지안 신경망, 콕포멀 예측과 같은 방법은 다양한 영상 모드에서 신뢰할 수 있는 불확실성 추정에 뛰어난 성능을 보인다.
• 증거 기반 딥러닝과 레이블 분포 모델은 특히 데이터가 적거나 분포 이탈 상황에서 애러티픽 및 에피스테믹 불확실성을 효과적으로 포착한다.
• 교정 지표와 커버리지 보장 기반 평가 프로토콜은 UQ의 신뢰성 검증에 필수적이지만, 연구 간 표준화가 아직 부족한 상황이다.
• UQ 응용의 다수는 세분화 작업(예: 종양, 전립선, 폐 낭종 등)에 집중되어 있으며, 분류 및 이방성 탐지 분야로의 관심이 증가하고 있다.
• 진전이 있음에도 불구하고, 일반화 능력, 분포 이탈에 대한 강건성, 그리고 표준화된 평가 및 구현 프레임워크 부족으로 인한 임상 워크플로우 통합 문제 등 도전 과제가 남아 있다.