[논문 리뷰] Conditional Variational Autoencoder for Learned Image Reconstruction

Chen Zhang, Riccardo Barbano외 1명|arXiv (Cornell University)|2021. 10. 22.

Medical Imaging Techniques and Applications참고 문헌 56인용 수 6

한 줄 요약

이 논문은 깊이 신경망을 사용하여 노이즈가 있는 관측치를 바탕으로 이미지의 사후 분포를 모델링함으로써 PET 영상에서의 불확실성 인식 이미지 복원을 위한 조건부 변동 자동차오더(conditional variational autoencoder, cVAE) 프레임워크를 제안한다. 전방 연산자와 알고리즘 편집을 통한 암시적 사전 분포 학습을 통합함으로써, 점 추정과 불확실성 정량화를 위한 효율적인 샘플링을 가능하게 하여, 특히 저계수 조건에서 최신 기술들을 능가한다.

ABSTRACT

Learned image reconstruction techniques using deep neural networks have recently gained popularity, and have delivered promising empirical results. However, most approaches focus on one single recovery for each observation, and thus neglect the uncertainty information. In this work, we develop a novel computational framework that approximates the posterior distribution of the unknown image at each query observation. The proposed framework is very flexible: It handles implicit noise models and priors, it incorporates the data formation process (i.e., the forward operator), and the learned reconstructive properties are transferable between different datasets. Once the network is trained using the conditional variational autoencoder loss, it provides a computationally efficient sampler for the approximate posterior distribution via feed-forward propagation, and the summarizing statistics of the generated samples are used for both point-estimation and uncertainty quantification. We illustrate the proposed framework with extensive numerical experiments on positron emission tomography (with both moderate and low count levels) showing that the framework generates high-quality samples when compared with state-of-the-art methods.

연구 동기 및 목표

• 딥 러닝 기반 이미지 복원에서 대부분의 방법이 단일 결정론적 추정치만을 제공하므로, 불확실성 정량화(UQ)의 부족을 해결한다.
• 관측치에 기반한 알려지지 않은 이미지의 전체 사후 분포를 모델링하는 유연하고 데이터 기반의 프레임워크를 개발한다. 이는 내재된 불확실성을 포괄한다.
• 물리 법칙(전방 연산자 통해)과 암시적 사전 분포를 복원 과정에 통합하지만, 명시적 우도 또는 사전 분포를 필요로 하지 않는다.
• 다양한 데이터셋과 영상 조건(저계수 및 중간계수 PET 포함) 간에 학습된 복원 특성을 이식 가능하게 한다.
• 학습 후 피드포워드 전파를 통한 계산 효율적인 추론 메커니즘을 제공하여, 샘플 집합으로부터 점 추정치와 불확실성 지표를 모두 지원한다.

제안 방법

• 관측치를 조건 변수로 사용하여 관측치가 주어진 이미지의 사후 분포를 모델링하기 위해 조건부 변동 자동차오더(cVAE)를 사용한다.
• 알고리즘 편집을 통해 네트워크가 전방 연산자와 잠재 노이즈 샘플을 통합하면서 반복적으로 복원을 개선하도록 한다.
• 관측치에 기반한 확률적 인코더를 통해 잠재 공간을 조건화하여, 데이터와 일관된 다양한 타당한 복원을 생성한다.
• 진짜 사후 분포를 근사하기 위해 기초가 되는 하한 경계(ELBO)를 최소화하는 변동 추론 목표를 사용하여 네트워크를 훈련시킨다.
• PET의 시스템 행렬 등 물리적 전방 모델을 네트워크 아키텍처에 직접 통합하여 데이터 형성 과정과의 일관성을 확보한다.
• 학습된 cVAE에서 여러 샘플을 생성하여 불확실성 정량화를 수행하며, 평균을 점 추정치로, 샘플의 분산을 불확실성의 척도로 사용한다.

실험 결과

연구 질문

• RQ1 우도와 사전 분포가 데이터에서 암시적으로 학습되는 경우, cVAE와 같은 딥 제너레이티브 모델이 이미지 복원에서 사후 분포를 효과적으로 근사할 수 있는가?
• RQ2 저계수 PET 영상에서 데이터가 매우 노이즈가 많고 정보가 부족한 상황에서 제안된 프레임워크가 불확실성을 얼마나 잘 다룰 수 있는가?
• RQ3 학습 데이터에 존재하지 않는 새로운 특징(예: 소형 종양)을 얼마나 잘 유지하는가? 이는 분포 이탈을 초월한 일반화 능력을 시사한다.
• RQ4 전방 연산자 및 물리 법칙의 통합은 순수하게 데이터 기반 기준 대비 복원 품질 향상과 불확실성 校정을 얼마나 향상시키는가?
• RQ5 재학습 없이도 학습된 복원 특성을 다양한 데이터셋이나 영상 조건 간에 이식 가능한가?

주요 결과

• cVAE 프레임워크는 높은 품질의 이미지 복원을 생성하며 정확한 불확실성 추정을 제공한다. 특히 신호 대 노이즈 비율이 낮은 저계수 PET 환경에서 뛰어난 성능을 보인다.
• 학습 데이터에 존재하지 않는 소형 및 대형 종양까지 BrainWeb 필름에서 성공적으로 복원하여 강건성과 일반화 능력을 입증한다.
• 저계수 수준에서 소형 종양을 완전히 복원할 수는 없지만, cVAE의 복원 결과는 극도로 노이즈가 많은 상황에서도 시각적으로 타당하며, LGD 및 GM3와 같은 최신 확률적 방법과 유사한 수준을 유지한다.
• cVAE에서 생성된 샘플의 분산은 효과적으로 불확실성을 포착하며, 신호 강도가 낮거나 저계수 영역에서 더 높은 불확실성이 관찰된다.
• 특히 도전적인 저선량 조건에서, 결정론적 기준(예: MLEM, TV)보다 복원 품질과 불확실성 정량화 측면에서 모두 cVAE가 뛰어난 성능을 보인다.
• 알고리즘 편집과 전방 연산자 통합을 통해 네트워크가 반복적으로 복원을 개선함으로써, 물리적 제약 조건과의 일관성과 정밀도를 향상시킨다.