[논문 리뷰] Denoising Score-Matching for Uncertainty Quantification in Inverse Problems

Zaccharie Ramzi, Benjamin Rémy외 3명|arXiv (Cornell University)|2020. 11. 16.

Medical Imaging Techniques and Applications참고 문헌 29인용 수 4

한 줄 요약

이 논문은 데이터에서 사전 분포를 학습하기 위해 딥 노이즈 리덕션 스코어 매칭을 사용하는 베이지안 프레임워크를 제안한다. 이를 통해 냉각된 해밀토니안 몬테카를로 샘플링을 통한 불확실성 정량화가 가능해지며, 고품질의 재구성과 함께 데이터 기반 영역과 결정되지 않은 특징을 드러내는 후행 분포 샘플링을 통해 불확실성을 명시적으로 정량화한다.

ABSTRACT

Deep neural networks have proven extremely efficient at solving a wide rangeof inverse problems, but most often the uncertainty on the solution they provideis hard to quantify. In this work, we propose a generic Bayesian framework forsolving inverse problems, in which we limit the use of deep neural networks tolearning a prior distribution on the signals to recover. We adopt recent denoisingscore matching techniques to learn this prior from data, and subsequently use it aspart of an annealed Hamiltonian Monte-Carlo scheme to sample the full posteriorof image inverse problems. We apply this framework to Magnetic ResonanceImage (MRI) reconstruction and illustrate how this approach not only yields highquality reconstructions but can also be used to assess the uncertainty on particularfeatures of a reconstructed image.

연구 동기 및 목표

• 딥 러닝 기반의 역문제에서의 불확실성 정량화 부족 문제를 해결하기 위해, 특히 MRI 재구성 분야에서.
• 스코어 기반 생성 모델링을 활용해 사전 학습을 수행하는 확장 가능한 데이터 기반 베이지안 프레임워크를 개발하기 위해.
• 노이즈 제거 스코어 매칭을 통해 훈련된 스코어 네트워크를 사용해 고차원 이미지 공간에서 후행 분포 p(x|y)의 전체 샘플링을 가능하게 하기 위해.
• 불확실성이 후행 샘플링을 통해 정량화되고 시각화될 수 있음을 입증하기 위해, 데이터로 잘 제약되지 않은 영역을 드러내기 위함.

제안 방법

• 잔차 U-Net 아키텍처를 노이즈 제거 스코어 매칭을 통해 훈련하여 데이터 분포의 스코어를 추정하고, MRI 이미지에 대한 사전 분포를 학습한다.
• 스펙트럴 노름 제약를 통해 스코어 네트워크를 정규화하여 훈련 안정성과 스코어 품질을 향상시킨다.
• 냉각된 해밀토니안 몬테카를로(HMC)를 사용해 측정된 k-스페이스 데이터 기반 후행 분포 p(x|y)에서 샘플링을 수행하며, 학습된 사전과 측정 가능성의 조합을 반영한다.
• 최종적으로, 마지막 HMC 샘플에 대해 기대값 기반 노이즈 제거 샘플(EDS) 기법을 적용하여 재구성 품질을 향상시킨다.
• 단일 코ils MRI에서의 후행 샘플링을 적용하며, 가속도 요소 4를 사용한 fastMRI 데이터셋을 활용한다.
• 명시적인 밀도 추정 없이 스코어 기울기만을 기반으로 하여 고차원 이미지 공간에서의 확장 가능한 추론이 가능해지게 한다.

실험 결과

연구 질문

• RQ1 노이즈 제거 스코어 매칭이 베이지안 MRI 재구성의 사전 학습에 효과적으로 활용될 수 있는가?
• RQ2 냉각된 HMC를 통한 후행 샘플링이 재구성된 MRI 특징의 불확실성을 얼마나 잘 정량화하는가?
• RQ3 이 스코어 기반 접근 방식은 재구성 품질을 유지하면서도 결정론적 딥 러닝 방법보다 불확실성 인식 능력에서 뛰어나게 작용할 수 있는가?
• RQ4 스펙트럴 노름 정규화는 스코어 네트워크 훈련과 후행 샘플링 안정성에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 노이즈 수준이나 샘플링 패턴이 다양할 경우 어떻게 대처하는가?

주요 결과

• 후행 샘플 평균 PSNR는 30.04 dB를 기록하여, 제로 필링 재구성(25.55 dB)을 크게 능가하고 상태의 최고 수준인 UPDNet(32.15 dB)에 근접했다.
• 개별 후행 샘플의 평균 PSNR는 27.63 dB였으며, 이는 샘플링 과정이 이미지 품질을 유지하면서도 불확실성 평가가 가능함을 시사한다.
• 후행 샘플은 적색 영역에 대해 높은 변동성을 보이며, 데이터로 인해 잘 제약되지 않는다는 것을 드러내었고, 이는 결정론적 네트워크에서는 감지되지 않는 특징이다.
• 프레임워크는 고차원 MRI 데이터(320×320×2)에 성공적으로 스케일링되었으며, GAN이나 VAE에 비해 스코어 기반 모델의 확장성 잠재력을 입증했다.
• HMC 수렴 문제에도 불구하고, 최종 EDS 노이즈 제거 단계가 샘플 품질을 크게 향상시켜 실용적 구현을 위한 유망한 길을 제시했다.
• 이 방법은 시각적 불확실성 정량화를 가능하게 하며, 후행 분포 분산이 높은 영역은 측정치에 의해 잘 지지되지 않는 특징을 나타내어 임상적 해석에 도움이 된다.