[논문 리뷰] Towards safe deep learning: accurately quantifying biomarker uncertainty in neural network predictions

Zach Eaton-Rosen, Felix Bragman외 3명|arXiv (Cornell University)|2018. 06. 22.

Radiomics and Machine Learning in Medical Imaging참고 문헌 7인용 수 9

한 줄 요약

이 논문은 의료 영상 분할에서 불확실성을 정량화하기 위해 몬테카를로 드롭아웃을 활용한 베이지안 딥러닝을 제안하며, 병변 측정을 위한 잘 校정된 부피적 신뢰구간으로 볼륨 단위 불확실성을 변환합니다. 이 방법은 딥러닝 시스템이 종양 부피 추정치에 신뢰할 수 있는 오차 막대를 제공함으로써 임상적 안전성과 노이즈 및 분포 이탈에 대한 강건성을 향상시킵니다.

ABSTRACT

Automated medical image segmentation, specifically using deep learning, has shown outstanding performance in semantic segmentation tasks. However, these methods rarely quantify their uncertainty, which may lead to errors in downstream analysis. In this work we propose to use Bayesian neural networks to quantify uncertainty within the domain of semantic segmentation. We also propose a method to convert voxel-wise segmentation uncertainty into volumetric uncertainty, and calibrate the accuracy and reliability of confidence intervals of derived measurements. When applied to a tumour volume estimation application, we demonstrate that by using such modelling of uncertainty, deep learning systems can be made to report volume estimates with well-calibrated error-bars, making them safer for clinical use. We also show that the uncertainty estimates extrapolate to unseen data, and that the confidence intervals are robust in the presence of artificial noise. This could be used to provide a form of quality control and quality assurance, and may permit further adoption of deep learning tools in the clinic.

연구 동기 및 목표

• 딥러닝 기반 의료 영상 분할에서의 불확실성 정량화 부족으로 인한 생물학적 마커 측정의 임상적 오류를 해결하기 위해.
• 볼륨 단위의 신뢰구간으로 변환 가능한 볼륨 단위 분할 불확실성을 효과적으로 집계하여 종양 부피와 같은 후속 생물학적 마커를 위한 신뢰구간을 제공하기 위해.
• 노이즈가 있거나 분포가 벗어난 입력이 포함된 다양한 데이터 품질에서도 불확실성 추정치가 신뢰할 수 있고 잘 校정되도록 보장하기 위해.
• 네트워크 아키텍처를 수정하지 않고도 실질적인 불확실성 추정치를 제공함으로써 딥러닝을 임상 파이프라인에 안전하게 구현할 수 있도록 하기 위해.

제안 방법

• 고해상도 네트워크 아키텍처에 몬테카를로 드롭아웃을 활용하여 다중 전방 전파를 통한 예측 불확실성 추정을 위한 베이지안 추론을 근사합니다.
• 각 주제당 200회의 스토케스틱 전방 전파를 집계하여 각 클래스(예: '전체', '핵심', '활성' 종양)의 분할 부피 분포를 생성합니다.
• 예측 부피의 경험적 누적분포함수(CDF)를 구성하여 백분위수 기반의 신뢰구간을 유도합니다.
• 신뢰구간을 스케일링하기 위해 애핀 캘리브레이션을 적용하여 주제 간 진짜 부피의 커버리지가 향상됩니다.
• 입력 영상에 가우시안 노이즈를 주입하여 신뢰구간이 여전히 진짜 부피를 포함하는지 평가함으로써 강인성을 검증합니다.
• 앙상블 방법이나 아키텍처 변경 없이도 단일 학습된 모델과 드롭아웃을 사용하여 불확실성 추정치를 생성합니다.

실험 결과

연구 질문

• RQ1 딥 네트워크에서 몬테카를로 드롭아웃이 의료 영상 분할에 대해 의미 있고 잘 校정된 불확실성 추정치를 생성할 수 있는가?
• RQ2 볼륨 단위의 불확실성은 종양 부피와 같은 생물학적 마커 측정을 위한 신뢰할 수 있는 부피적 신뢰구간으로 효과적으로 집계될 수 있는가?
• RQ3 가우시안 노이즈와 같은 데이터 편열 상황에서 결과로 도출된 신뢰구간은 진짜 부피를 얼마나 잘 커버하는가?
• RQ4 불확실성 추정치는 임상 환경에서 영상 품질이나 데이터 신뢰성의 대체 지표로 기능할 수 있는가?

주요 결과

• 단일 스토케스틱 네트워크에서 유도된 200개 부피 예측의 원시 분포는 진짜 부피를 충분한 수의 경우에 포함하지 못해 초기 캘리브레이션에 문제가 있음을 시사합니다.
• 애핀 캘리브레이션을 적용한 후 '핵심' 분할의 95% 신뢰구간은 커버리지가 크게 향상되어 진짜 부피를 더 자주 포함합니다.
• 가우시안 노이즈의 수준이 증가함에 따라 조차도 캘리브레이션된 신뢰구간은 여전히 진짜 부피를 포함하며, 데이터 품질 악화에 대한 강인성을 입증합니다.
• 이 방법은 미리 보지 않은 데이터로의 불확실성 외삽을 성공적으로 수행했으며, 인위적 노이즈가 있음에도 불구하고 신뢰성을 유지하여 임상 파이프라인의 품질 관리에 유용함을 시사합니다.
• 이 방법은 단지 표준 추론에 드롭아웃을 적용하기만 하므로 계산 비용을 최소화하면서도 잘 校정된 불확실성 보고를 가능하게 합니다.