[논문 리뷰] Uncertainty Quantification with Generative Models

Vanessa Böhm, François Lanusse외 1명|arXiv (Cornell University)|2019. 10. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 20

한 줄 요약

이 논문은 변분 오토에인코더(VAE)와 노멀라이징 플로우를 사용하여 고차원 데이터 복원에서 효율적이고 다루기 쉬운 불확실성 정량화를 가능하게 하는 베이지안 역문제를 위한 생성 모델 기반 프레임워크를 제안한다. 청소된 데이터에서 한 번만 생성 모델을 훈련시킴으로써 잠재 공간에서의 사후 추론이 가능해져 다양한 오염 유형에 걸쳐 정확한 샘플링과 불확실성 특성 분석이 가능해진다.

ABSTRACT

We develop a generative model-based approach to Bayesian inverse problems, such as image reconstruction from noisy and incomplete images. Our framework addresses two common challenges of Bayesian reconstructions: 1) It makes use of complex, data-driven priors that comprise all available information about the uncorrupted data distribution. 2) It enables computationally tractable uncertainty quantification in the form of posterior analysis in latent and data space. The method is very efficient in that the generative model only has to be trained once on an uncorrupted data set, after that, the procedure can be used for arbitrary corruption types.

연구 동기 및 목표

• 고차원 이미지 복원 문제에 대해 정확하고 데이터 기반의 사전 분포를 구성하는 데 도전한다.
• 고차원 데이터 공간에서의 전체 사후 분석의 계산적 비가역성 문제를 해결한다.
• 낮은 차원의 잠재 공간에서의 다루기 쉬운 사후 근사화를 통해 불확실성 정량화를 가능하게 한다.
• 재훈련 없이도 다양한 오염 유형에 대해 단일 사전 훈련된 생성 모델을 재사용할 수 있는 프레임워크를 개발한다.
• 기존의 샘플링 방법(예: 해밀토니안 몬테카를로)에 비해 스케일러블한 대안을 제공한다.

제안 방법

• 저차원 잠재 공간에서의 데이터 분포 매핑을 학습하기 위해 청소된 데이터에서 변분 오토에인코더(VAE)를 훈련한다.
• 이중사상(normalizing flow)을 적용하여 VAE의 잠재 공간 분포를 표준 정규 분포로 변환함으로써 더 나은 모델링을 가능하게 한다.
• 베이즈 정리에 따라 잠재 변수의 사후 분포를 수식으로 기술한다: $ p_{\phi}(\mathbf{z}|\mathbf{x}) \propto p_{\phi}(\mathbf{x}|\mathbf{z})p(\mathbf{z}) $.
• 잠재 공간에서의 사후에 대한 가우시안 근사를 최적화하기 위해 EL2O 목적함수를 사용하며, 다수의 랜덤 재시작을 통해 기초 증거 하한(lower bound)를 최소화한다.
• 잠재 공간에서 허용된 사후 분포에서 샘플을 추출하고, 이를 데이터 공간으로 복원하여 복원 결과의 불확실성을 시각화한다.
• 선형 오염 연산자 $ \mathbf{A} $와 가우시안 잡음의 조합을 사용하여 전방 문제를 모델링한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 생성 모델이 청소된 데이터의 복잡한 구조를 포괄하는 민첩하고 데이터 기반의 사전 분포를 제공할 수 있는가?
• RQ2 잠재 공간에서의 사후 근사화를 통해 고차원 역문제에서의 불확실성 정량화를 계산적으로 다루기 쉽게 만들 수 있는가?
• RQ3 EL2O 기반의 사후 적합 성능이 정확도와 효율성 측면에서 스토하스틱 변분 추론(SVI)에 비해 어떻게 비교되는가?
• RQ4 단일 사전 훈련된 생성 모델이 재훈련 없이 얼마나 다양한 오염 유형을 다룰 수 있는가?
• RQ5 이 방법이 분산만 또는 평균장 근사화에 의해 놓치는 다중모달성과 강한 상관관계를 유지하는가?

주요 결과

• EL2O 방법은 스토하스틱 변분 추론(SVI)보다 더 빠른 수렴을 보였으며, SVI가 약 8000단계가 필요한 데 비해 EL2O는 단지 10회 최적화(각각 약 10초)로 충분했다.
• EL2O 방법은 40%의 랜덤 재시작에서 전역 최적값을 탐지했으며, 나머지 국소 최적값들은 사후 분포에 거의 기여하지 않았다.
• 자동 미분를 통해 계산된 전역 최적값의 곡률은 안정적인 사후 공분산 추정치를 제공하였으며, 이를 바탕으로 전_rank 가우시안 근사를 적합시켰다.
• EL2O와 SVI의 사후 적합 결과는 진짜 사후 최적값과 일치하지 않았지만, EL2O는 진짜 음의 로그 사후 형태와 더 잘 일치하는 경향을 보였다.
• SVI의 높은 계산 비용에도 불구하고 EL2O 기반 샘플에서의 복원 결과는 진짜 값과 더 유사한 경향을 보였다.
• 이 방법은 다중모달성과 강한 상관관계를 포함한 복잡한 사후 구조를 성공적으로 포착하였으며, 이는 분산 또는 대각 행렬 근사화에 의해 잘 표현되지 않는 특성들이다.