[논문 리뷰] PCENet: High Dimensional Surrogate Modeling for Learning Uncertainty

Paz Fink Shustin, Shashanka Ubaru외 5명|arXiv (Cornell University)|2022. 02. 10.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

PCENet는 고차원 불확실성 정량화(UQ)를 위해 변동형 오토인코더(VAE)를 이용한 잠재공간 차원 축소와 최대 평균 차이(MMD)를 활용한 다항 chaos 전개(PCE)를 융합한 이단계적 대체 모델링 프레임워크를 제안한다. 이 방법은 사전 분포 가정 없이 정확한 불확실성 전파와 모멘트 매칭을 가능하게 하며, 회귀 및 PDE 학습 과제에서 경쟁적인 성능을 달성한다.

ABSTRACT

Learning data representations under uncertainty is an important task that emerges in numerous scientific computing and data analysis applications. However, uncertainty quantification techniques are computationally intensive and become prohibitively expensive for high-dimensional data. In this study, we introduce a dimensionality reduction surrogate modeling (DRSM) approach for representation learning and uncertainty quantification that aims to deal with data of moderate to high dimensions. The approach involves a two-stage learning process: 1) employing a variational autoencoder to learn a low-dimensional representation of the input data distribution; and 2) harnessing polynomial chaos expansion (PCE) formulation to map the low dimensional distribution to the output target. The model enables us to (a) capture the system dynamics efficiently in the low-dimensional latent space, (b) learn under uncertainty, a representation of the data and a mapping between input and output distributions, (c) estimate this uncertainty in the high-dimensional data system, and (d) match high-order moments of the output distribution; without any prior statistical assumptions on the data. Numerical results are presented to illustrate the performance of the proposed method.

연구 동기 및 목표

• 차원의 극복 문제로 인한 고차원 데이터 시스템에서의 불확실성 정량화(UQ)의 계산 불가능성 문제를 해결하기 위해.
• 데이터에 대한 사전 통계적 가정이 필요 없이 입력과 출력 분포 간의 기능적 매핑을 학습하는 대체 모델링 접근법을 개발하기 위해.
• 낮은 차원의 잠재 표현을 활용하여 고차원 시스템에서 정확한 불확실성 전파 및 고차 모멘트 매칭을 가능하게 하기 위해.
• 딥 제너레이티브 모델링(VAE)과 스펙트럼 대체 모델링(PCE)을 융합하여 머신러닝 및 과학 계산 분야에서 확장 가능하고 일반화 가능한 UQ를 실현하기 위해.

제안 방법

• 고차원 입력 데이터 분포를 낮은 차원의 잠재공간으로 매핑하기 위해 변동형 오토인코더(VAE)를 사용하며, 이 과정에서 분포 특성을 유지한다.
• 잠재공간 표현을 다항 chaos 전개(PCE) 모델의 입력으로 사용하여 잠재공간에서 출력 분포로의 매핑을 학습한다.
• PCE의 계수는 최대 평균 차이(MMD)를 통해 학습되며, 이는 예측된 출력 분포를 진짜 출력 분포와 일치시키는 모멘트 매칭 기법이다.
• 이 방법은 기저 데이터 분포에 대한 지식이 필요로 하지 않는다는 점에서 강력한 파rametric 가정 없이 고차 모멘트를 매칭할 수 있다.
• 모델은 엔드 투 엔드로 훈련된다: VAE는 잠재분포를 학습하고, MMD를 활용한 PCE는 잠재 표현 조건 하의 조건부 출력 분포를 학습한다.
• 불확실성 정량화는 학습된 잠재분포에서 샘플링하고 이를 PCE 모델을 통해 불확실성 전파를 통해 수행하며, 이로써 효율적인 사후 통계 추정이 가능해진다.

실험 결과

연구 질문

• RQ1 딥 제너레이티브 모델과 스펙트럼 대체 모델을 융합하여 고차원 데이터 시스템에서 입력-출력 분포를 효과적으로 학습할 수 있는가?
• RQ2 MMD 기반의 PCE 학습이 데이터 분포에 대한 사전 가정 없이 출력 분포의 고차 모멘트를 어느 정도 잘 매칭할 수 있는가?
• RQ3 기본 기준 대비 VAE-PCE 프레임워크는 불확실성 인식 회귀 및 PDE 해 학습에서 얼마나 잘 성능을 내는가?
• RQ4 이 방법은 계산 효율성과 불확실성 전파 정확도를 유지하면서 고차원 입력에 대해 확장 가능한가?

주요 결과

• PCENet는 LARS 테스트 세트에서 보스턴 및 당뇨병 데이터셋에서 경쟁적인 회귀 성능을 보였으며, 상대 오차 범위는 1.5%에서 8.8% 사이였다.
• 앨런-클란 및 하밀턴-자코비-벨만 PDE 문제에서, 테스트 구성에서 상대 오차가 10% 이하로 낮은 수준에서 고차원 입력-출력 매핑을 성공적으로 학습하였다.
• 잠재공간에서의 샘플링을 통해 효과적인 불확실성 전파를 구현하여 사후 표준편차와 예측 구간 추정이 가능했다.
• 적응형 PCE 차수 선택(앨런-클란 및 HJB에 대해 2, 당뇨병에 대해 3)은 다양한 데이터 분포에서 안정적이고 정확한 모멘트 매칭을 이끌어냈다.
• PCE 계수 학습에 MMD를 사용함으로써 데이터의 확률 밀도 함수를 명시적으로 알 필요 없이 고차 모멘트 매칭이 가능했다.
• 프레임워크는 입력-출력 관계의 전역적 특성을 유지하면서 낮은 차원의 잠재공간에서 작동함으로써 계산 비용을 감소시켰다.