[논문 리뷰] Deep Probabilistic Imaging: Uncertainty Quantification and Multi-modal Solution Characterization for Computational Imaging

He Sun, Katherine L. Bouman|arXiv (Cornell University)|2020. 10. 27.

Model Reduction and Neural Networks참고 문헌 23인용 수 16

한 줄 요약

이 논문은 과소결정된 역문제에서 이미지의 사후 분포를 근사하기 위해 훈련되지 않은 플로우 기반 생성 모델을 사용하는 변분 추론 프레임워크인 딥 확률적 영상(DPI)을 소개한다. MAP 손실과 엔트로피 정규화를 통해 네트워크 가중치를 최적화함으로써, 훈련 데이터 없이도 불확실성 정량화와 다중 모달 솔루션 특성화를 가능하게 하며, 라디오 간섭계측과 압축 센싱 MRI에서 사후 분포 근사가 효과적으로 이루어졌음을 보여준다.

ABSTRACT

Computational image reconstruction algorithms generally produce a single image without any measure of uncertainty or confidence. Regularized Maximum Likelihood (RML) and feed-forward deep learning approaches for inverse problems typically focus on recovering a point estimate. This is a serious limitation when working with underdetermined imaging systems, where it is conceivable that multiple image modes would be consistent with the measured data. Characterizing the space of probable images that explain the observational data is therefore crucial. In this paper, we propose a variational deep probabilistic imaging approach to quantify reconstruction uncertainty. Deep Probabilistic Imaging (DPI) employs an untrained deep generative model to estimate a posterior distribution of an unobserved image. This approach does not require any training data; instead, it optimizes the weights of a neural network to generate image samples that fit a particular measurement dataset. Once the network weights have been learned, the posterior distribution can be efficiently sampled. We demonstrate this approach in the context of interferometric radio imaging, which is used for black hole imaging with the Event Horizon Telescope, and compressed sensing Magnetic Resonance Imaging (MRI).

연구 동기 및 목표

• 기존 영상 복원 방법이 점추정치만 제공하는 데서 비롯되는 불확실성 정량화의 부족을 해결하기 위해.
• 측정값과 일치하는 여러 이미지가 존재하는 과소결정 영상 문제에서 다중 모달 솔루션 공간을 특성화하기 위해.
• 비볼록 역문제에서 사후 분포 근사를 위한 데이터 기반, 훈련 기반의 방법을 개발하기 위해.
• 계산 영상에서 불확실성 인식 영상 구현을 위해 영상 사후 분포에서 효율적인 샘플링을 가능하게 하기 위해.

제안 방법

• DPI는 역이 가능한 플로우 기반 생성 모델을 사용하여 관측되지 않은 이미지의 사후 분포를 표현한다.
• 네트워크 가중치는 측정값의 가능도(측정값의 음의 로그가능도), 이미지 사전정보(예: 총변동량) 및 모델 엔트로피를 조합한 손실을 통해 최적화된다. 이는 다양성을 장려하기 위함이다.
• 이 방법은 사전 훈련된 모델이나 레이블이 있는 데이터를 필요로 하지 않으며, 생성 네트워크 가중치의 엔드 투 엔드 최적화에 의존한다.
• 랜덤 가우시안 잠재 벡터를 훈련된 생성기로 통과시켜 사후 샘플을 생성함으로써, 샘플의 통계적 성질을 통해 불확실성 정량화를 가능하게 한다.
• 이 방법은 볼록 문제(압축 센싱 MRI)와 비볼록 문제(간섭계 영상) 양쪽에 적용된다.
• 사후 샘플을 사용하여 픽셀 단위 평균, 표준편차 및 오차 통계량을 계산하여 불확실성 정량화 및 고오차 영역 탐지에 활용된다.

실험 결과

연구 질문

• RQ1 라벨이 없는 데이터로도 역문제에서 이미지의 사후 분포를 근사할 수 있는 딥 생성 모델을 훈련시킬 수 있는가?
• RQ2 이러한 모델이 비볼록 영상 문제에서 다중 모달 솔루션을 얼마나 잘 포착할 수 있는가?
• RQ3 압축 센싱 MRI에서 사후 샘플로부터 도출된 불확실성 추정치가 실제 복원 오차와 일치하는가?
• RQ4 라디오 간섭계측에서처럼 전방 모델이 매우 비볼록한 경우에도 이 방법이 효과를 유지하는가?
• RQ5 손실 함수에 포함된 엔트로피 정규화가 사후 샘플의 다양성과 대표성을 향상시키는가?

주요 결과

• 압축 센싱 MRI에서, 진짜 이미지의 네 표준편차 이내에 98.2%에서 98.7%의 픽셀이 포함되어 있어, 불확실성 추정치와 실제 복원 오차 간 강한 일치를 보였다.
• 모든 가속도 요인(3.5×, 5.5×, 8.4×)에서 DPI 샘플의 픽셀 단위 표준편차가 절대 복원 오차의 공간적 패턴과 거의 정확히 일치했다.
• 간섭계 영상의 경우, DPI가 생성한 사후 샘플은 이미지 사전정보에 민감하며, 진짜 이미지가 정확히 샘플링되지 않더라도 임베딩 공간에서 종종 진짜 이미지 근처에 군집되어 있었다.
• 이 방법은 재구성된 이미지에서 고불확실성 영역을 성공적으로 식별하였으며, 표준편차 맵이 고오차 영역과 잘 일치했다.
• 손실 함수에 엔트로피 정규화를 도입함으로써 다양한 사후 샘플을 생성할 수 있었고, 이는 비볼록 문제에서의 다중 모달 솔루션 특성화를 가능하게 하였다.
• 이 방법은 훈련 데이터나 사전 훈련된 모델 없이도 볼록 및 비볼록 역문제 모두에서 효과적인 불확실성 정량화를 달성하였다.