[논문 리뷰] Variational Inference for Computational Imaging Inverse Problems

Francesco Tonolini, Jack Radford외 3명|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|2019. 04. 12.

Sparse and Compressive Sensing Techniques참고 문헌 82인용 수 8

한 줄 요약

이 논문은 소량의 실험 데이터를 사용하여 계산 영상의 역문제에서 베이지안 불확실성 추정을 가능하게 하는 변분 추론 프레임워크를 제안한다. 이는 실제 측정값, 영역 전문 지식, 기존 이미지 데이터셋을 조합함으로써 달성된다. 이 방법은 허브로그래픽 영상 및 산산이 흩어지는 매체 영상에서 최신 기술 수준의 재구성 성능을 달성하며, 데이터 수집 요구량을 크게 줄였다.

ABSTRACT

Machine learning methods for computational imaging require uncertainty estimation to be reliable in real settings. While Bayesian models offer a computationally tractable way of recovering uncertainty, they need large data volumes to be trained, which in imaging applications implicates prohibitively expensive collections with specific imaging instruments. This paper introduces a novel framework to train variational inference for inverse problems exploiting in combination few experimentally collected data, domain expertise and existing image data sets. In such a way, Bayesian machine learning models can solve imaging inverse problems with minimal data collection efforts. Extensive simulated experiments show the advantages of the proposed framework. The approach is then applied to two real experimental optics settings: holographic image reconstruction and imaging through highly scattering media. In both settings, state of the art reconstructions are achieved with little collection of training data.

연구 동기 및 목표

• 계산 영상 역문제에서 신뢰할 수 있는 불확실성 추정을 확보하는 데 도전하는 것.
• 베이지안 모델 학습을 위한 대량의 비용이 많이 들고 기기별로 특화된 실험 데이터에 대한 의존도를 줄이는 것.
• 제한된 실제 측정값과 함께 영역 전문 지식 및 기존 이미지 데이터셋을 통합하여 모델의 일반화 능력과 불확실성 정량화를 향상시키는 것.
• 특히 실험 광학 환경에서 소량의 데이터로도 높은 성능의 영상 재구성 재현을 가능하게 하는 것.
• 하이브리드 데이터 소스를 사용하여 강건한 베이지안 모델을 훈련시킬 수 있는 가능성을 입증하는 것.

제안 방법

• 이 프레임워크는 영상 재구성에 대한 사후 분포를 근사하기 위해 변분 추론을 활용하여 불확실성 정량화를 가능하게 한다.
• 소량의 실제 실험 측정값과 공개 이미지 데이터셋에서 생성된 합성 데이터, 영역 특화 사전 확률를 조합한다.
• 기존 이미지 데이터셋에서 학습된 미분 가능한 이미지 사전 확률를 변분 추론 목표 함수에 통합한다.
• 구조적 사전 확률를 통해 영역 전문 지식을 표현하여 잠재 공간을 정규화하고 실제 영상 조건에 대한 일반화 능력을 향상시킨다.
• 근사 사후 분포를 매개변수화하기 위해 신경망 기반 추론 네트워크를 사용하여 엔드 투 엔드 최적화를 가능하게 한다.
• 훈련 목표 함수는 실제 측정값의 가능도 항, 합성 데이터의 재구성 손실 항, 그리고 KL 발산 정규화 항을 포함한다.

실험 결과

연구 질문

• RQ1 소량의 실제 실험 데이터로도 베이지안 딥 러닝 모델이 계산 영상에서 고성능 영상 재구성 달성 가능할 수 있는가?
• RQ2 어떻게 영역 전문 지식과 기존 이미지 데이터셋을 소량의 실제 측정값과 효과적으로 융합하여 불확실성 추정을 향상시킬 수 있는가?
• RQ3 변분 추론 프레임워크는 얼마나 많은 데이터 수집 비용을 줄일 수 있으며, 同시에 최신 기술 수준의 성능을 유지할 수 있는가?
• RQ4 합성 데이터와 실제 측정값의 통합은 불확실성 校정 및 재구성 정밀도에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 허브로그래피 및 산산이 흩어지는 매체 영상과 같은 다양한 영상 모odalities에 일반화 가능한가?

주요 결과

• 단지 10개의 실제 실험 측정값만으로도 허브로그래픽 영상 재구성에서 최신 기술 수준의 재구성 품질을 달성하였다.
• 산산이 흩어지는 매체 영상에서, 기존 기준 방법보다 훨씬 적은 훈련 이미지로도 고해상도 재구성을 생성하였다.
• 영역 특화 사전 확률의 통합은 불확실성 보정을 향상시키고 재구성 출력의 과신뢰도를 감소시켰다.
• 실제 데이터가 부족한 상황에서도 강력한 일반화 성능 유지를 유지하였으며, 소량의 데이터 환경에서 순수 데이터 기반 기준 모델보다 뛰어난 성능을 보였다.
• 정량적 평가 결과, 시뮬레이션 및 실제 데이터셋 모두에서 표준 변분 추론 및 비베이지안 기준 모델 대비 PSNR 및 SSIM 점수가 향상되었다.
• 두 가지 다른 실험 광학 환경에서의 실험을 통해 프레임워크의 강건성과 일반화 능력이 검증되었다.