[논문 리뷰] Bayesian Inference with Generative Adversarial Network Priors

Dhruv Patel, Assad A. Oberai|arXiv (Cornell University)|2019. 07. 22.

Model Reduction and Neural Networks참고 문헌 47인용 수 14

한 줄 요약

이 논문은 베이지안 추론에서 복잡하고 고차원적인 사전 분포를 모델링하기 위해 생성적 적대적 네트워크(GAN)를 사용하는 것을 제안한다. 이를 통해 역문제에서 정확한 불확실성 정량화가 가능해진다. 샘플 필드에 대해 GAN을 훈련시어 생성기(GAN generator)는 저차원 잠재공간을 고차원 필드 실현으로 매핑하며, 이는 이후 맵핑된 사전분포를 사용해 노이즈가 섞인 측정값으로부터 초기 온도 분포와 같은 필드를 추론하는 베이지안 업데이트에 활용된다. 이로써 MAP 및 MCMC 샘플링을 통해 정확한 사후분포 추정이 가능해진다.

ABSTRACT

Bayesian inference is used extensively to infer and to quantify the uncertainty in a field of interest from a measurement of a related field when the two are linked by a physical model. Despite its many applications, Bayesian inference faces challenges when inferring fields that have discrete representations of large dimension, and/or have prior distributions that are difficult to represent mathematically. In this manuscript we consider the use of Generative Adversarial Networks (GANs) in addressing these challenges. A GAN is a type of deep neural network equipped with the ability to learn the distribution implied by multiple samples of a given field. Once trained on these samples, the generator component of a GAN maps the iid components of a low-dimensional latent vector to an approximation of the distribution of the field of interest. In this work we demonstrate how this approximate distribution may be used as a prior in a Bayesian update, and how it addresses the challenges associated with characterizing complex prior distributions and the large dimension of the inferred field. We demonstrate the efficacy of this approach by applying it to the problem of inferring and quantifying uncertainty in the initial temperature field in a heat conduction problem from a noisy measurement of the temperature at later time.

연구 동기 및 목표

• 해석형 사전분포가 불가능한 고차원 필드에 대해 정보가 풍부하고 복잡한 사전분포를 정의하는 데 도전하는 것.
• 추론 대상 필드의 차원이 매우 클 경우 효율적인 사후분포 샘플링을 가능하게 하는 것.
• GAN으로 훈련된 사전분포가 역문제에서 날카로운 모서리와 패치와 같은 복잡한 공간적 구조를 효과적으로 포착할 수 있는지 보여주는 것.
• GAN 사전분포를 사용한 사후분포 추정을 위한 실용적인 계산 전략(Monte Carlo 및 MCMC)을 개발하는 것.
• 열전도 역문제에 대해 제안된 방법을 검증하여 초기 온도 필드의 정확한 복원과 불확실성 정량화를 보여주는 것.

제안 방법

• 샘플 필드 세트에 대해 GAN을 훈련시켜 알려지지 않은 필드의 기저 분포를 학습하고, 생성기가 저차원 잠재벡터를 고차원 필드 실현으로 매핑하도록 하는 것.
• 훈련된 GAN 생성기를 베이지안 추론에서 비모수적 사전분포로 사용하여 전통적인 해석형 사전분포를 대체하는 것.
• 베이즈 정리에 따라 사후분포를 설정하며, 가능도는 노이즈가 섞인 측정값과 GAN으로 생성된 사전분포에 기반하는 것.
• 잠재공간에서 기울기 기반 최적화를 통해 최대 사후밀도를 갖는 잠재벡터를 찾는 방식으로 최대사후밀도(MAP) 해를 추정하는 것.
• 잠재공간에서 마르코프 체인 몬테카를로(MCMC)를 사용해 사후분포에서 샘플링하며, 잠재벡터에 대한 제안과 생성기를 통한 변환을 통해 필드 샘플을 얻는 것.
• MCMC 샘플을 사용해 사후모멘트(예: 평균 및 분산)를 근사하여 추론된 필드의 불확실성 정량화를 수행하는 것.

실험 결과

연구 질문

• RQ1 고차원 역문제의 베이지안 추론에서 GAN이 비모수적 사전분포로 효과적으로 사용될 수 있는가?
• RQ2 GAN 사전분포는 추론된 필드에서 복잡한 공간적 구조(예: 직사각형 패치, 날카로운 모서리)를 얼마나 정확히 복원할 수 있는가?
• RQ3 진짜 사전분포가 알려진 경우, GAN 사전분포를 사용해 추론된 사후분포가 진짜 사후분포로 수렴하는가?
• RQ4 잠재공간에서의 MCMC와 같은 효율적인 샘플링 전략이 고차원 필드에 대해 신뢰할 수 있는 불확실성 정량화를 제공할 수 있는가?
• RQ5 MAP 추정 및 불확실성 정량화 측면에서 GAN 사전분포는 H¹ 또는 L²와 같은 표준 사전분포보다 성능이 뛰어나다고 할 수 있는가?

주요 결과

• GAN 사전분포는 표준적인 부드러운 사전분포가 재현하지 못한 진짜 초깃emperature 필드의 공간적 구조, 즉 날카로운 모서리와 직사각형 패치를 효과적으로 포착하였다.
• GAN 사전분포를 사용한 MAP 추정치는 진짜 초깃emperature 필드와 매우 유사했으며, 공간적 정밀도와 정량적 정확도 측면에서 H¹ 및 L² 사전분포를 모두 능가하였다.
• 잠재공간에서의 MCMC 샘플링을 통해 추정된 평균치는 진짜 필드와 일치했지만, 전방 연산자에 의한 스무딩으로 인해 모서리와 코너에서 흐릿함이 관찰되었다.
• 지점별 표준편차 맵은 가장 높은 불확실성을 모서리와 코너에서 보여주었으며, 이는 이러한 특징이 역문제의 불안정성으로 인해 복원하기 가장 어려운 이유를 확인해주었다.
• MCMC를 통해 추정된 사후분포는 MAP 추정치와 일관되었고, GAN 사전분포를 통해 공간적 위치 전역에서 정확한 불확실성 정량화가 가능했다.
• 이 방법은 기존 해석형 사전분포를 구성하기 어려운 고차원이고 복잡한 필드에 대해 GAN이 효과적이고 유연한 사전분포로 기능할 수 있음을 보여주었다.