[논문 리뷰] Solving Bayesian Inverse Problems via Variational Autoencoders

Hwan Goh, Sheroze Sheriffdeen외 2명|arXiv (Cornell University)|2019. 12. 05.

Gaussian Processes and Bayesian Inference참고 문헌 45인용 수 31

한 줄 요약

이 논문은 물리 기반 모델, 정보성 사전 분포, 쌍화된 매개변수-관측 데이터를 활용하여 베이지안 역문제에서 빠르고 정확한 불확실성 정량화를 가능하게 하는 UQ-VAE라는 변분 오토에인코더 프레임워크를 제안한다. 잠재 공간을 관심 있는 매개변수 공간으로 재해석하고 조정 가능한 초매개변수 α를 가진 유연한 발산 기반 학습 목표함수를 사용함으로써, 훈련 데이터가 제한된 경우에도 강력한 사후 분포 근사가 가능해지며, 타원형 PDE 제약 조건이 붙은 역문제에서 이를 입증하였다.

ABSTRACT

In recent years, the field of machine learning has made phenomenal progress in the pursuit of simulating real-world data generation processes. One notable example of such success is the variational autoencoder (VAE). In this work, with a small shift in perspective, we leverage and adapt VAEs for a different purpose: uncertainty quantification in scientific inverse problems. We introduce UQ-VAE: a flexible, adaptive, hybrid data/model-informed framework for training neural networks capable of rapid modelling of the posterior distribution representing the unknown parameter of interest. Specifically, from divergence-based variational inference, our framework is derived such that most of the information usually present in scientific inverse problems is fully utilized in the training procedure. Additionally, this framework includes an adjustable hyperparameter that allows selection of the notion of distance between the posterior model and the target distribution. This introduces more flexibility in controlling how optimization directs the learning of the posterior model. Further, this framework possesses an inherent adaptive optimization property that emerges through the learning of the posterior uncertainty.

연구 동기 및 목표

• 완전한 사후 샘플링이 계산적으로 비현실적인 과학적 역문제에서 효율적이고 정확한 불확실성 정량화(UQ)를 해결하기 위해.
• 잠재 공간을 관심 있는 매개변수(PoI) 공간으로 재해석함으로써, 생성 모델링에서 역문제로의 변분 오토에인코더(VAE)의 응용을 가능하게 하기 위해.
• 물리 법칙(매개변수에서 관측값으로의 사상에 의해), PoI의 구조에 대한 사전 지식, 그리고 경험적 PoI-관측 쌍을 모두 통합한 하이브리드 데이터/모델 제약 프레임워크를 개발하기 위해.
• 모델 사후분포와 목표 사후분포 사이의 발산 측정을 제어하는 조정 가능한 초매개변수 α를 도입하여, 불확실성 추정 최적화의灵活性를 높이기 위해.
• 프레임워크가 최소한의 초매개변수 조정으로 신뢰할 수 있는 불확실성 추정을 달성하고, 타당한 데이터 크기(예: M=500)에서도 성능을 발휘함을 입증하기 위해.

제안 방법

• VAE의 잠재 공간을 알려지지 않은 관심 매개변수(PoI) 공간으로 재해석하며, 생성자 네트워크는 물리 기반의 매개변수에서 관측값으로의 사상(PtO)을 나타낸다.
• 표준 등방향 가우시안 대신, 물리적 성질을 반영한 PoI 공간 상의 구조적 사전 분포를 사용한다.
• 유연한 발산 기반 변분 추론 목표함수를 사용하며, 기초 증거 하한 경계(ELBO)에 조정 가능한 초매개변수 α를 포함시켜, 0-포지션과 0-피하기 Kullback-Leibler 발산 사이의 균형을 제어한다.
• 표본 간의 PoI 및 관측값 쌍 (u^(m), y_obs^(m))을 사용하여 사후 근사에 정규화를 가한다. 이는 일반 VAE에서 흔히 사용되지 않는 잠재 데이터를 효과적으로 활용한다.
• 우리의 손실 함수는 가능도, 사전, 사후 데이터 항을 조합하여 신경망 가중치를 최적화하며, 사후 데이터 항은 불안정한 역문제의 정규화 역할을 한다.
• PtO 사상에 대해 물리 기반 수치 모델을 사용함으로써, 이 구성 요소를 학습할 필요 없이 사후 추론에만 집중할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 생성 모델링이 아닌 과학적 역문제에서의 불확실성 정량화를 위해 VAE 프레임워크를 효과적으로 재사용할 수 있는가?
• RQ2 물리 법칙, PoI에 대한 사전 지식, 경험적 데이터를 어떻게 통합하여 역문제에서의 사후 근사 정확도를 향상시킬 수 있는가?
• RQ3 초매개변수 α가 역문제 맥락에서 사후 분산과 모델 충실도 사이의 트레이드오프에 미치는 영향은 무엇인가?
• RQ4 제한된 훈련 데이터로도 프레임워크가 신뢰할 수 있는 불확실성 추정을 달성할 수 있는가, 특히 전체 사후 샘플링이 불가능한 경우에 대해?
• RQ5 PoI-관측값 쌍을 잠재 데이터로 포함시키는 것이 사후 모델의 훈련 및 일반화 능력을 어떻게 향상시키는가?

주요 결과

• UQ-VAE 프레임워크는 타원형 PDE 제약 조건이 붙은 역문제에 대해 단지 M=500개의 훈련 샘플만으로도 실현 가능하고 정확한 불확실성 추정을 달성하며, 제한된 데이터 조건에서도 유용성을 입증한다.
• α가 감소할수록 사후 분산이 증가함을 확인하여, 낮은 α 값(0-포지션 KLD에 가까운 값)은 이질적인 다모드 사후 근사에 대한 이론적 기대와 일치하는 높은 불확실성으로 이어진다.
• 높은 α 값(0-피하기 KLD에 가까운 값)은 낮은 사후 분산을 초래하며, 이는 더 집중된 사후 모델을 반영한다.
• α가 1에 가까워질수록 학습 절차가 불안정해지며, 이는 PoI 데이터의 영향력이 감소하고 최적화가 덜 정규화된, 잠재적으로 불안정한 영역으로 이동함을 의미한다.
• 불확실성과 훈련 데이터 크기 사이에 역관계가 존재함을 보여주며, 더 많은 데이터는 더 낮은 불확실성으로 이어지며 이는 정보 가용성 반영이다.
• 최소한의 초매개변수 조정으로도 프레임워크가 강건함을 입증하였으며, 주로 α 조정에 의존하고, PtO 사상과 사전은 물리 원리에 따라 안내될 수 있다.