[논문 리뷰] UncertaINR: Uncertainty Quantification of End-to-End Implicit Neural Representations for Computed Tomography

Francisca Vasconcelos, Bobby He외 2명|arXiv (Cornell University)|2022. 02. 22.

Medical Imaging Techniques and Applications인용 수 9

한 줄 요약

이 논문은 복소단층형 신경망(CT) 재구성에서 불확실성 정량화(UQ)를 위한 베이지안 프레임워크인 UncertaINR을 제안한다. 몬테카를로 드롭아웃 및 기타 베이지안 딥러닝 기법을 인코딩된 신경 표현(INRs)에 적용함으로써, UncertaINR은 상태최선의 방법들과 경쟁 가능한 재구성 정확도를 유지하면서도 잘 校정된 불확실성 추정을 달성한다. 놀랍게도, 더 복잡한 접근 방식인 하미르토니안 몬테카를로(HMC)나 딥 앙상블보다도 보다 뛰어난 校정성과 효율성을 보였다.

ABSTRACT

Implicit neural representations (INRs) have achieved impressive results for scene reconstruction and computer graphics, where their performance has primarily been assessed on reconstruction accuracy. As INRs make their way into other domains, where model predictions inform high-stakes decision-making, uncertainty quantification of INR inference is becoming critical. To that end, we study a Bayesian reformulation of INRs, UncertaINR, in the context of computed tomography, and evaluate several Bayesian deep learning implementations in terms of accuracy and calibration. We find that they achieve well-calibrated uncertainty, while retaining accuracy competitive with other classical, INR-based, and CNN-based reconstruction techniques. Contrary to common intuition in the Bayesian deep learning literature, we find that INRs obtain the best calibration with computationally efficient Monte Carlo dropout, outperforming Hamiltonian Monte Carlo and deep ensembles. Moreover, in contrast to the best-performing prior approaches, UncertaINR does not require a large training dataset, but only a handful of validation images.

연구 동기 및 목표

• 의료 영상, 특히 CT에서 모델 오류가 오진단진으로 이어질 수 있는 바, 불확실성 정량화(UQ)에 대한 필수적인 필요성을 해결하기 위해.
• 낮은 데이터, 높은 위험도를 지닌 의료 영상에서 점점 더 널리 사용되는 암시적 신경 표현(INRs)에 대한 베이지안 딥러닝 기법을 활용한 UQ 평가를 위해.
• 계산 비용이 적은 방법인 몬테카를로 드롭아웃이, 하미르토니안 몬테카를로나 딥 앙상블과 같은 고비용 대안보다 INR 기반 CT 재구성에서 더 나은 校정성을 달성할 수 있는지 확인하기 위해.
• 대규모 훈련 데이터셋이 필요 없이, 몇 개의 검증 영상만으로도 높은 품질의 UQ를 달성할 수 있음을 보여주기 위해.

제안 방법

• 불확실성 인식을 위한 INRs의 베이지안 재구성인 UncertaINR을 제안하여 CT 영상 재구성에 활용한다.
• 베이지안 딥러닝 추론 기법을 여러 가지 적용: 베이즈-바이-백프로프, 몬테카를로 드롭아웃(MCD), 딥 앙상블(DE), 하미르토니안 몬테카를로(HMC).
• INR이 연속 함수 $ f:(x,y) \to [0,1] $ 를 매개변수화하는 확률 모델을 사용하며, 불확실성은 사후 샘플링을 통해 정량화된다.
• 훈련 안정성과 재구성 품질 향상을 위해 음의 로그우도(NLL) 손실과 총 변동(TV) 정규화를 활용한다.
• UQ 성능 평가에 Expected Calibration Error(ECE)와 Negative Log-Likelihood(NLL)를 사용하며, 동시에 재구성 정확도(SNR)를 측정한다.
• HMC 샘플링의 맥락에서 콜드-포스트리어어 효과 분석을 도입하여, 온도를 낮추면 SNR는 향상되지만 불확실성의 校정성은 악화됨을 보였다.

실험 결과

연구 질문

• RQ1 베이지안 딥러닝 기법이 CT 재구성에 대한 암시적 신경 표현(INRs)에서 잘 校정된 불확실성 추정을 제공할 수 있는가?
• RQ2 몬테카를로 드롭아웃이 INRs의 UQ에서 하미르토니안 몽테카를로나 딥 앙상블과 같은 더 계산 비용이 큰 방법보다 우수한 성능을 보일 수 있는가?
• RQ3 UncertaINR은 최소한의 훈련 데이터로도 높은 재구성 정확도와 신뢰할 수 있는 불확실성 정량화를 달성할 수 있는가?
• RQ4 INR 기반 CT 재구성에서 콜드-포스트리어어 효과는 무엇을 일으키며, 이는 불확실성과 재구성 성능에 어떤 영향을 미치는가?

주요 결과

• 몬테카를로 드롭아웃(MCD)은 평가된 모든 베이지안 방법 중에서 가장 뛰어난 불확실성 校정성을 달성했으며, 하미르토니안 몽테카를로와 딥 앙상블보다 INR 환경에서 뛰어난 성능을 보였다.
• MCD는 경쟁 가능한 재구성 정확도를 유지했으며, AAPM 테스트 세트에서 SNR 값으로서 $ 3.44 \pm 0.11 $ (DE-5 MCD UINR) 및 $ 3.42 \pm 0.10 $ (DE-10 MCD UINR)를 기록했다.
• HMC 기반 방법은 높은 SNR($ 3.06 \pm 0.09 $)를 달성했지만, ECE 값이 $ -0.033 \pm 0.010 $ 으로 과신된 상태임을 나타내어 불량한 校정성을 보였다.
• 콜드-포스트리어어 효과는 HMC-GOP-TV에서 관찰되었으며, 온도를 낮추면 SNR는 향상되지만 ECE와 NLL는 악화되어 정확도와 불확실성 신뢰성 사이의 상충 관계가 있음을 시사했다.
• MCD를 활용한 딥 앙상블(DE-5 MCD UINR 등)은 성능을 더욱 향상시켜 NLL를 $ -5.76 \pm 0.80 $ 으로 기록하여 뛰어난 정확도와 校정성의 동시 확보를 보였다.
• UncertaINR는 대규모 훈련 데이터셋이 필요 없이, 몇 개의 검증 영상만으로도 잘 校정된 불확실성 정량화를 달성했으며, 이는 자료가 부족한 의료 영상 분야에서 큰 이점이다.