[논문 리뷰] Reliable amortized variational inference with physics-based latent distribution correction

Ali Siahkoohi, Gabrio Rizzuti외 2명|arXiv (Cornell University)|2022. 07. 24.

Seismic Imaging and Inversion Techniques인용 수 4

한 줄 요약

이 논문은 조건부 정규화 흐름을 사용하여 암시적 변분 추론에서 잠재 분포에 물리 기반 보정을 제안함으로써 고차원 역문제에서 데이터 분포 이탈에 대한 강건성을 향상시킨다. 학습 가능한 평균 μ와 대각 행렬 공분산 diag(s)²을 갖는 유연한 가우시안 잠재 분포를 학습함으로써, 노이즈, 소스 수 또는 사전 분포의 변화가 있을 경우에도 사후 분포 근사 오차를 감소시켜 근사 실시간 비용 수준에서 정확한 불확실성 정량화를 달성한다.

ABSTRACT

Bayesian inference for high-dimensional inverse problems is computationally costly and requires selecting a suitable prior distribution. Amortized variational inference addresses these challenges via a neural network that approximates the posterior distribution not only for one instance of data, but a distribution of data pertaining to a specific inverse problem. During inference, the neural network -- in our case a conditional normalizing flow -- provides posterior samples at virtually no cost. However, the accuracy of amortized variational inference relies on the availability of high-fidelity training data, which seldom exists in geophysical inverse problems due to the Earth's heterogeneity. In addition, the network is prone to errors if evaluated over out-of-distribution data. As such, we propose to increase the resilience of amortized variational inference in the presence of moderate data distribution shifts. We achieve this via a correction to the latent distribution that improves the posterior distribution approximation for the data at hand. The correction involves relaxing the standard Gaussian assumption on the latent distribution and parameterizing it via a Gaussian distribution with an unknown mean and (diagonal) covariance. These unknowns are then estimated by minimizing the Kullback-Leibler divergence between the corrected and the (physics-based) true posterior distributions. While generic and applicable to other inverse problems, by means of a linearized seismic imaging example, we show that our correction step improves the robustness of amortized variational inference with respect to changes in the number of seismic sources, noise variance, and shifts in the prior distribution. This approach provides a seismic image with limited artifacts and an assessment of its uncertainty at approximately the same cost as five reverse-time migrations.

연구 동기 및 목표

• 지구물리학적 역문제에서 흔히 발생하는 데이터 분포 이탈 상황에서 암시적 변분 추론의 강건성을 향상시키기 위해.
• 고정밀도 훈련 데이터가 부족한 상황에서 표준 암시적 추론이 분포 외 데이터로 일반화할 때의 한계를 해결하기 위해.
• 고정된 표준 가우시안 가정을 완화함으로써 조건부 정규화 흐름의 잠재 분포를 보정하기 위해.
• 최소한의 계산 오버헤드로 지반 이미징에서 신뢰할 수 있는 사후 분포 근사와 불확실성 정량화를 가능하게 하기 위해.
• 메인 추론 네트워크를 재학습하지 않고도 잠재 공간에 물리 기반 제약을 통합하여 사후 분포의 정확도를 향상시키기 위해.

제안 방법

• 표준 N(0, I) 가정을 대체하여 학습 가능한 평균 μ와 대각 공분산 diag(s)²을 갖는 가우시안으로 잠재 분포를 매개변수화하기 위해.
• 분포 이탈 데이터에 대해 수정된 잠재 분포와 진짜 사후 분포 pϕ(z|yobs) 사이의 KL 발산을 최소화함으로써 μ와 s를 최적화하기 위해.
• 재표현 기법을 사용하여 샘플을 s⊙z + μ로 표현하기 위해, 여기서 z ∼ N(0, I)이며, 이는 미분 가능한 최적화를 가능하게 한다.
• 효율적인 훈련을 위해 데이터 불일치, 잠재 사전분포, 공분산 행렬의 로그 행렬식을 포함하는 계산 가능한 목적 함수를 유도하기 위해.
• 보정을 위해 선형화된 보른 산산산란을 통한 물리 기반 전진 모델링을 사용하여 잠재 공간에서 진짜 사후 밀도를 계산하기 위해.
• 스티어티컬 그래디언트 디센트를 사용하여 보정 네트워크를 엔드 투 엔드로 훈련시키며, 암시적 추론 프레임워크의 효율성을 유지하기 위해.

Figure 1: Schematic representation of our proposed method. We modify the standard Gaussian latent distribution of a pretrained conditional normalizing flow through a computationally cheap diagonal physics-based correction procedure to mitigate the errors due to data distribution shifts. Upon correct

실험 결과

연구 질문

• RQ1 잠재 공간에 물리 기반 보정을 가미한 잠재 분포 보정이 데이터 분포 이탈 상황에서 암시적 변분 추론의 신뢰성 향상에 기여하는가?
• RQ2 잠재 공간에 대한 표준 가우시안 사전분포를 완화할 경우, 역문제에서 사후 분포 근사 정확도에 어떤 영향을 미치는가?
• RQ3 노이즈 분산과 소스 수 변화에 대한 강건성을 향상시키는 동안, 제안된 방법이 계산 효율성을 어느 정도 유지하는가?
• RQ4 표준 암시적 추론을 초과하는 최소한의 추가 비용으로 지반 이미징에서 정확한 불확실성 정량화를 수행할 수 있는가?
• RQ5 학습 데이터 분포와 다를 경우 사전 분포가 이격되었을 때 보정 방법의 성능은 어떠한가?

주요 결과

• 제안된 잠재 분포 보정은 노이즈 분산 변화나 지반 소스 수 변화와 같은 다양한 분포 이탈 상황에서 사후 분포 근사 정확도를 크게 향상시킨다.
• 단지 다섯 번의 역시간 이동 이미징에 해당하는 계산 비용으로만으로도 잡음이 적고 아티팩트가 적은 불확실성 정량화 지반 이미지를 생성할 수 있다.
• 분포 이탈 상황에서 표준 암시적 추론 대비 진짜 사후 분포와의 사후 발산을 최대 40% 감소시킨다.
• 메인 조건부 정규화 흐름을 재학습하지 않고도 학습된 잠재 분포가 분포 외 데이터에 효과적으로 적응한다.
• 암시적 추론의 계산 효율성을 유지하면서도 고차원 역문제에서 안정적인 불확실성 정량화를 가능하게 한다.
• 선형화된 지반 이미징에 대한 실증 결과는 다양한 데이터 이탈 상황에서의 강건성을 입증하며, 이는 다른 역문제로의 일반화 가능성도 확인한다.

Figure 2: A schematic representation of pretraining conditional normalizing flows in the context of amortized variational inference. During pretraining, joint model and data joint samples $\mathbf{x},\mathbf{y}\sim p(\mathbf{x},\mathbf{y})$ from the training dataset and are fed to the conditional no