[논문 리뷰] Conditional deep surrogate models for stochastic, high-dimensional, and multi-fidelity systems

Yibo Yang, Paris Perdikaris|arXiv (Cornell University)|2019. 01. 15.

Gaussian Processes and Bayesian Inference참고 문헌 61인용 수 5

한 줄 요약

이 논문은 스케일링 가능하고 불확실성 인식이 가능한 예측을 가능하게 하기 위해 정규화된 적대적 변분 추론을 사용하는 조건부 딥 서rogate 모델을 제안한다. 이는 확률적이고 고차원적이며 다중 정밀도 시스템을 대상으로 한다. 암묵적인 생성 모델과 잠재 변수 추론을 활용하여, 노이즈가 많거나 희소하거나 다중 정밀도 데이터에서 복잡한 조건부 분포를 정확히 포착한다. 이는 불확실성 정량화와 고차원 역학 예측에서 뛰어난 성능을 보이며, 불확실성 추정치가 정량화된 상태에서 구현된다.

ABSTRACT

We present a probabilistic deep learning methodology that enables the construction of predictive data-driven surrogates for stochastic systems. Leveraging recent advances in variational inference with implicit distributions, we put forth a statistical inference framework that enables the end-to-end training of surrogate models on paired input-output observations that may be stochastic in nature, originate from different information sources of variable fidelity, or be corrupted by complex noise processes. The resulting surrogates can accommodate high-dimensional inputs and outputs and are able to return predictions with quantified uncertainty. The effectiveness our approach is demonstrated through a series of canonical studies, including the regression of noisy data, multi-fidelity modeling of stochastic processes, and uncertainty propagation in high-dimensional dynamical systems.

연구 동기 및 목표

• 스케일링 가능하고 데이터 기반의 서rogate 모델링 프레임워크를 개발하여, 확률적이고 고차원적이며 다중 정밀도 데이터를 가진 복잡한 시스템을 대상으로 한다.
• 복잡한 노이즈와 다양한 정밀도 수준을 가진 쌍화된 입력-출력 관측치에 대한 엔드 투 엔드 학습을 가능하게 한다.
• 최적화 및 민감도 분석과 같은 후행 작업을 위한 예측 불확실성 정량화를 제공한다.
• 복잡한 조건부 분포에 대해 변분 추론에서 평균-장 가정 및 가우시안 근사의 한계를 극복한다.
• 비선형 차원 축소와 비가우시안, 상관된 노이즈 과정 하에서의 강건한 모델링을 지원한다.

제안 방법

• 복잡한 조건부 분포 $ p(\bm{y}|\bm{x}) $ 를 모델링하기 위해 암묵적 변분 추론 기반의 정규화된 적대적 추론 프레임워크를 사용한다.
• 스토케스틱 인코더와 디코더를 갖춘 조건부 생성 모델을 사용하며, 잠재 변수 $ \bm{z} $ 를 통합하여 비선형적 의존성과 차원 축소를 달성한다.
• 실제 데이터와 생성된 데이터를 구분하는 디스크림네이터를 사용한 적대적 학습을 적용하여 분포의 정밀도를 향상시키고 모드 붕괴를 억제한다.
• 엔트로피 정규화와 데이터 피팅 페널티( $ \lambda = 1.5 $, $ \beta = 0.5 $ ) 를 도입하여 학습 안정성과 일반화 성능을 향상시킨다.
• 시간을 연속적인 레이블로 간주하여 입력 공간과 잠재 공간에 전파함으로써, 동역학 시스템에서의 시간 모델링을 가능하게 한다.
• Adam 옵timizer를 사용하여 생성자와 디스크림네이터를 교차로 학습하며, 학습률은 $ 10^{-4} $ 로 설정한다.

실험 결과

연구 질문

• RQ1 딥 확률 서rogate 모델은 희소하고 노이즈가 많은 입력-출력 쌍에서 복잡한 고차원 조건부 분포를 효과적으로 학습할 수 있는가?
• RQ2 다중 정밀도 데이터를 가진 확률적 동역학 시스템에 대해 이 방법은 불확실성 정량화에서 얼마나 잘 성능을 발휘하는가?
• RQ3 모델은 새로운 시간 구간에 대해 일반화되어 예측 정확도와 불확실성 캘리브레이션을 유지할 수 있는가?
• RQ4 이 방법은 복잡한 비가우시안 및 다모드 출력 분포를 포착하는 데 있어 평균-장 변분 추론보다 우수한가?
• RQ5 이 모델은 고차원적이고 상관관계가 있는 데이터에서 저차원 잠재 구조를 얼마나 잘 발견할 수 있는가?

주요 결과

• 모델은 봄버스 방정식의 128차원 궤적 생성에서 고정밀도 시뮬레이션과 강한 정성적 일치를 보였으며, 단지 100개의 학습 실현만으로도 성능을 달성했다.
• 시간 $ t = 12.5, 25, 37.5, 50 $ 에서의 네 개의 새로운 시간 지점에서 모델의 평균과 표준편차 예측치가 기준 시뮬레이션 궤적과 매우 유사하게 일치했다.
• 이 방법은 복잡하고 비가우시안이며 상관된 노이즈 과정을 성공적으로 모델링했으며, 표준 평균-장 근사보다 분포 정확도에서 뛰어난 성능을 보였다.
• 잠재 변수의 사용은 비선형 차원 축소를 효과적으로 가능하게 하였고, 제한된 학습 데이터 조건에서도 복잡한 노이즈에 대한 강건성을 확보하였다.
• 모델은 고차원 환경에서도 스케일링 가능하고 안정적인 성능을 유지하며, 다양한 데이터 모odal리티에서 예측 불확실성 추정치를 유지하였다.
• 이 프레임워크는 고차원 동역학 시스템에서 정확한 불확실성 전파를 가능하게 하여, 베이지안 최적화 및 액티브 러닝과 같은 후행 작업을 지원한다.