[논문 리뷰] Bayesian Image Quality Transfer with CNNs: Exploring Uncertainty in dMRI Super-Resolution

Ryutaro Tanno, Daniel E. Worrall외 5명|arXiv (Cornell University)|2017. 05. 01.

Advanced Neuroimaging Techniques and Applications참고 문헌 2인용 수 20

한 줄 요약

이 논문은 3D 확산 MRI 초해상도 분석을 위한 베이지안 컨volution 신경망(Bayesian CNN)을 제안하며, 이는 이질적 소음 모델과 변분 드롭아웃을 통해 내재적 불확실성과 파rameter 불확실성을 동시에 모델링한다. 이 방법은 최신 기준을 충족하는 재구성 정확도를 달성하고, 후속 트랙토그라피에서의 오차를 감소시키며, 재구성 오차와 관련된 불확실성 지도를 생성하여 종양과 같은 병변을 강조한다.

ABSTRACT

In this work, we investigate the value of uncertainty modeling in 3D super-resolution with convolutional neural networks (CNNs). Deep learning has shown success in a plethora of medical image transformation problems, such as super-resolution (SR) and image synthesis. However, the highly ill-posed nature of such problems results in inevitable ambiguity in the learning of networks. We propose to account for intrinsic uncertainty through a per-patch heteroscedastic noise model and for parameter uncertainty through approximate Bayesian inference in the form of variational dropout. We show that the combined benefits of both lead to the state-of-the-art performance SR of diffusion MR brain images in terms of errors compared to ground truth. We further show that the reduced error scores produce tangible benefits in downstream tractography. In addition, the probabilistic nature of the methods naturally confers a mechanism to quantify uncertainty over the super-resolved output. We demonstrate through experiments on both healthy and pathological brains the potential utility of such an uncertainty measure in the risk assessment of the super-resolved images for subsequent clinical use.

연구 동기 및 목표

• 깊이 학습 예측의 부정확한 성격을 모델링하여 의료 영상 초해상도 문제의 해법을 개선한다.
• 3D ESPCN 아키텍처의 확장 방식을 통해 3D 확산 MRI 초해상도에서 재구성 정확도와 효율성을 향상시킨다.
• 내재적(데이터 기반) 및 파rameter(모델 기반) 불확실성을 하나의 확률적 CNN 프레임워크에 통합한다.
• 불확실성 지도가 저신뢰 영역, 특히 뇌 종양과 같은 병변에서의 저신뢰 영역을 식별하는 데 유용한가를 평가한다.
• 불확실성 인식 초해상도가 비확률적 방법에 비해 후속 트랙토그라피 정확도를 향상시키는가를 입증한다.

제안 방법

• 2D 서브픽셀 CNN(ESPCN)을 3D로 확장하여 3D 확산 MRI 볼륨의 실시간 고정밀 초해상도를 가능하게 한다.
• 해부학적 구조에 따라 변화하는 매 텍스처 별 이질적 소음 모델을 사용해 내재적 불확실성을 모델링한다.
• 변분 드롭아웃을 적용하여 베이지안 추론을 근사하고 CNN 가중치의 파rameter 불확실성을 정량화한다.
• 두 가지 불확실성 유형을 하나의 모델(Hetero+Var. I 및 II)에 통합하여 강건성과 일반화 능력을 향상시킨다.
• FA 및 MD와 같은 파생 지표의 평균과 분산을 추정하기 위해 예측 분포에서 몬테카를로 샘플링을 수행한다.
• 트랙토그라피 평가에서 최종 예측을 위해 공분산 역행렬 가중치를 사용한 앙상블 평균을 적용한다.

실험 결과

연구 질문

• RQ1 3D CNN에서 내재적 및 파rameter 불확실성을 동시에 모델링하면, 결정론적 기준 대비 dMRI 초해상도 정확도 향상에 기여하는가?
• RQ2 예측된 불확실성 지도가 건강한 뇌와 병변이 있는 뇌에서 실제 재구성 오차와 얼마나 관련이 깊은가?
• RQ3 불확실성 인식 초해상도는 표준 CNN 및 보간 방법에 비해 트랙토그라피 결과를 향상시키는가?
• RQ4 불확실성 지도가 학습 데이터에 존재하지 않는 종양과 같은 저신뢰 영역을 효과적으로 식별할 수 있는가?
• RQ5 불확실성 모델링이 신경영상 분야의 딥러닝 기반 영상 향상에서의 해석 가능성과 임상적 신뢰성에 어느 정도 기여하는가?

주요 결과

• 제안된 Hetero+Var.(I) 모델은 HCP 및 Lifespan 데이터셋에서 최신 기준 성능을 달성하여 기준 CNN 및 RF 기반 방법에 비해 재구성 오차를 크게 감소시켰다.
• 불확실성 지도는 RMSE 오차 지도와 높은 상관관계를 보였으며, 특히 회백질과 중심 체액성 공간에서 정확도의 대체 측정 기준으로서의 유용성을 입증했다.
• Prisma 데이터셋에서 CNN 기반 초해상도 처리는 선형 보간 및 RF-IQT에 비해 더 선명한 회백질 경로를 생성했고, 트랙토그라피에서 거짓 양성률을 감소시켰다.
• 뇌 종양 환자에 적용했을 때, 모델은 잡음 없이 선명한 고해상도 영상을 생성했으며, 불확실성 지도가 종양 영역을 고불확실성 영역으로 강조하여 이 영역에서의 신뢰도가 낮음을 나타냈다.
• 변분 드롭아웃은 과적합을 감소시키고 일반화 능력을 향상시켰으며, 특히 내부 뇌 영역에서 낮은 외부 오차 점수로 나타났다.
• 두 가지 불확실성 유형의 통합은 강건성과 예측 성능 향상에 기여하여 종합적인 불확실성 모델링 접근의 유용성을 확인했다.