[논문 리뷰] Uncertainty Quantification in Deep Learning for Safer Neuroimage Enhancement

Ryutaro Tanno, Daniel E. Worrall외 7명|arXiv (Cornell University)|2019. 07. 31.

Sparse and Compressive Sensing Techniques참고 문헌 127인용 수 28

한 줄 요약

이 논문은 의료 영상 강화, 특히 확산 MRI의 초해상도 분석을 위한 불확실성 정량화를 위한 베이지안 딥러닝 프레임워크를 제안한다. 이는 이종성 노이즈 모델링과 근사 베이지안 추론을 조합하여 예측 불확실성을 내재적 불확실성과 파rameter 불확실성으로 분해함으로써, 병변별 위험 평가와 분포 외 데이터에 대한 강건성 향상을 가능하게 한다.

ABSTRACT

Deep learning (DL) has shown great potential in medical image enhancement problems, such as super-resolution or image synthesis. However, to date, little consideration has been given to uncertainty quantification over the output image. Here we introduce methods to characterise different components of uncertainty in such problems and demonstrate the ideas using diffusion MRI super-resolution. Specifically, we propose to account for $intrinsic$ uncertainty through a heteroscedastic noise model and for $parameter$ uncertainty through approximate Bayesian inference, and integrate the two to quantify $predictive$ uncertainty over the output image. Moreover, we introduce a method to propagate the predictive uncertainty on a multi-channelled image to derived scalar parameters, and separately quantify the effects of intrinsic and parameter uncertainty therein. The methods are evaluated for super-resolution of two different signal representations of diffusion MR images---DTIs and Mean Apparent Propagator MRI---and their derived quantities such as MD and FA, on multiple datasets of both healthy and pathological human brains. Results highlight three key benefits of uncertainty modelling for improving the safety of DL-based image enhancement systems. Firstly, incorporating uncertainty improves the predictive performance even when test data departs from training data. Secondly, the predictive uncertainty highly correlates with errors, and is therefore capable of detecting predictive "failures". Results demonstrate that such an uncertainty measure enables subject-specific and voxel-wise risk assessment of the output images. Thirdly, we show that the method for decomposing predictive uncertainty into its independent sources provides high-level "explanations" for the performance by quantifying how much uncertainty arises from the inherent difficulty of the task or the limited training examples.

연구 동기 및 목표

• 안전 기반 응용 분야에서 특히 중요한, 딥러닝 기반 의료영상 강화에 대한 불확실성 정량화의 부족을 보완한다.
• 초해상도 확산 MRI에서의 예측 불확실성을 정량화하며, 제거할 수 없는 내재적 불확실성과 줄일 수 있는 파rameter 불확실성 간의 구분을 시도한다.
• 다중 채널 영상에서 파생된 스칼라 지표(예: 분수 이방성도 및 평균 확산도)로 불확실성을 전파하여 개인별 및 볼륨별 위험 평가를 가능하게 한다.
• 불확실성의 원인으로 분해함으로써 모델 성능에 대한 해석 가능한 설명을 제공하여 신뢰도 향상과 임상적 도입을 지원한다.
• 정상 뇌와 병변이 있는 뇌 데이터셋(예: 뇌신종 및 다발성 경화증) 모두에서 강건성과 신뢰도 향상을 입증한다.

제안 방법

• 출력 분포의 입력 의존적 분산을 반영하기 위해 이종성 노이즈 레이어를 사용하여 모델의 내재적 불확실성을 모델링한다.
• 몬테카를로 드롭아웃을 통한 근사 베이지안 추론을 적용하여 딥 네트워크 가중치의 파rameter 불확실성을 추정한다.
• 두 가지 불확실성 구성요소를 통합하여 향상된 영상 출력에 대한 예측 불확실성을 계산한다.
• 일차 불확실성 전파를 사용하여 다중 채널 확산 MRI 영상(DTI, MAP-MRI 등)에서 유도된 스칼라 매개변수로 예측 불확실성을 전파한다.
• 예측 불확실성의 총합을 내재적 불확실성과 파rameter 불확실성의 독립적 기여도로 분해하여 해석 가능성을 높인다.
• Human Connectome Project, Lifespan, Prisma 및 임상용 뇌신종 및 다발성 경화증 데이터셋을 포함한 여러 데이터셋에서 모델을 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 테스트 데이터가 훈련 데이터에서 벗어날 경우, 불확실성 정량화가 뇌영상 강화에서 딥러닝 모델의 강건성을 향상시킬 수 있는가?
• RQ2 예측 불확실성은 재구성 오차와 어느 정도 상관관계가 있는가? 이는 초해상도 작업에서의 실패 탐지 가능성을 높이는가?
• RQ3 다중 채널 확산 MRI 영상에서 유도된 스칼라 매개변수(예: 분수 이방성도 및 평균 확산도)로 불확실성을 의미 있게 전파할 수 있는가?
• RQ4 예측 불확실성을 내재적 불확실성과 파rameter 불확실성으로 분해하면, 모델 행동 및 성능에 대한 고수준의 설명을 제공할 수 있는가?
• RQ5 불확실성 모델링은 병변이 있는 뇌 영상이 포함된 임상 적용 분야에서 안전성과 신뢰도를 어떻게 향상시키는가?

주요 결과

• 불확실성 모델링을 통합함으로써 테스트 데이터가 훈련 분포에서 벗어나도 예측 성능이 향상되어 강건성이 향상됨을 입증하였다.
• 예측 불확실성은 재구성 오차와 강하게 상관관계가 있으며, 볼륨 수준에서의 모델 실패 탐지가 가능함을 보여주었다.
• 이 불확실성 측정법은 초해상도 영상에 대해 개인별 및 볼륨별 위험 평가를 가능하게 하여 더 안전한 임상적 해석을 지원한다.
• 내재적 불확실성과 파rameter 불확실성으로 분해된 불확실성은 성능 제약이 작업의 모호성 때문인지 데이터 부족 때문인지에 대한 이해를 제공한다.
• 이 방법은 DTI 및 MAP-MRI와 같은 다양한 확산 MRI 표현 방식과 유도된 스칼라 매개변수에 대해 일반화되며, 정상 뇌와 병변이 있는 뇌 모두에서 일관된 이점을 보였다.
• 이 프레임워크는 노이즈 제거, 재구성, 합성, 다양한 영상 프로토콜 간 데이터 조정 등의 다른 영상 강화 작업으로도 확장 가능하다.