[논문 리뷰] A survey of unsupervised learning methods for high-dimensional uncertainty quantification in black-box-type problems

Katiana Kontolati, Dimitrios Loukrezis외 3명|arXiv (Cornell University)|2022. 02. 09.

Probabilistic and Robust Engineering Design참고 문헌 137인용 수 52

한 줄 요약

이 논문은 블랙박스 PDE 모델에서 고차원 불확실성 정량화(UQ)를 효율적으로 수행할 수 있도록 비지도 차원 감소(DR) 기법을 활용한 다양체 기반 다항 혼합 확장(m-PCE) 프레임워크를 제안한다. 13가지 DR 방법(선형: 예를 들어 PCA, ICA; 비선형: 예를 들어 AE, LLE)을 통해 고차원 스토케스틱 입력을 저차원 다양체로 투영하고, 이후 희소 PCE 대체 모델을 구축함으로써, 특히 내재 차원수가 낮은 문제에서 비용이 많이 드는 딥러닝 대체 모델과 유사한 정확도를 달성하면서도 훈련 속도가 수개월에서 수천 배 빠르다.

ABSTRACT

Constructing surrogate models for uncertainty quantification (UQ) on complex partial differential equations (PDEs) having inherently high-dimensional $\mathcal{O}(10^{\ge 2})$ stochastic inputs (e.g., forcing terms, boundary conditions, initial conditions) poses tremendous challenges. The curse of dimensionality can be addressed with suitable unsupervised learning techniques used as a pre-processing tool to encode inputs onto lower-dimensional subspaces while retaining its structural information and meaningful properties. In this work, we review and investigate thirteen dimension reduction methods including linear and nonlinear, spectral, blind source separation, convex and non-convex methods and utilize the resulting embeddings to construct a mapping to quantities of interest via polynomial chaos expansions (PCE). We refer to the general proposed approach as manifold PCE (m-PCE), where manifold corresponds to the latent space resulting from any of the studied dimension reduction methods. To investigate the capabilities and limitations of these methods we conduct numerical tests for three physics-based systems (treated as black-boxes) having high-dimensional stochastic inputs of varying complexity modeled as both Gaussian and non-Gaussian random fields to investigate the effect of the intrinsic dimensionality of input data. We demonstrate both the advantages and limitations of the unsupervised learning methods and we conclude that a suitable m-PCE model provides a cost-effective approach compared to alternative algorithms proposed in the literature, including recently proposed expensive deep neural network-based surrogates and can be readily applied for high-dimensional UQ in stochastic PDEs.

연구 동기 및 목표

• 복잡한 PDE 모델에 대한 스토케스틱 입력이 있는 고차원 불확실성 정량화(UQ)에서 차원의 극복 문제를 해결하기 위해.
• 13가지 비지도 차원 감소(DR) 방법이 입력의 구조를 얼마나 잘 유지하고 있는지 평가하기 위해.
• DR와 다항 혼합 확장을 결합한 효율적인 UQ를 위한 다양체 PCE(m-PCE) 프레임워크를 개발하고 검증하기 위해.
• 다양한 물리 기반 시스템에서 입력 복잡도가 다른 경우, DR 방법의 예측 정확도와 계산 비용을 비교하기 위해.
• 문제의 복잡도와 계산 제약 조건에 따라 연구자들이 최적의 DR 기법을 선택할 수 있도록 안내하기 위해.

제안 방법

• 선형(PCA, ICA, k-PCA), 비선형(LLE, 오토에인코더) 및 스펙트럼 방법을 포함한 13가지 비지도 DR 방법을 적용하여 고차원 스토케스틱 입력을 저차원 잠재 공간으로 투영한다.
• 결과로 생성된 저차원 임베딩을 사용하여 희소 다항 혼합 확장(PCE)을 구성함으로써 대체 모델링을 수행한다.
• 모든 DR 방법과 PCE를 조합하여 m-PCE 모델을 구축하며, 여기서 '다양체'는 DR 단계에서 생성된 잠재 공간을 의미한다.
• 압축 감지 및 기저 적응 기법을 사용하여 PCE 대체 모델을 훈련함으로써 희소성과 정확도를 확보한다.
• 세 가지 물리 기반 블랙박스 모델(Poisson, 열, Brusselator 방정식)에서 모멘트 추정 오차 상대값과 CPU 시간을 사용하여 성능을 평가한다.
• 정규분포와 비정규분포 랜덤 필드를 모두 스토케스틱 입력으로 사용하여 다양한 입력 분포에 대한 강건성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 고차원 스토케스틱 입력의 차원을 효과적으로 줄이면서도 구조적 및 통계적 성질을 유지하는 데 가장 효과적인 비지도 DR 방법은 무엇인가?
• RQ2 복잡한 입력 불확실성을 지닌 물리 기반 PDE에 적용했을 때, m-PCE 모델의 예측 정확도는 다양한 DR 방법에 따라 어떻게 달라지는가?
• RQ3 고차원 UQ에서 선형 대비 비선형 DR 방법 간의 계산 비용(CPU 시간)과 정확도 사이의 상호 상충 관계는 어떠한가?
• RQ4 딥러닝 기반 DR 방법(예: 오토에인코더)과 비교했을 때, 단순한 DR 방법(예: PCA, ICA)이 고차원 UQ에서 유사한 정확도를 달성할 수 있는가?
• RQ5 입력 데이터의 내재 차원수가 m-PCE 프레임워크의 성공 여부를 결정짓는 조건는 무엇인가?

주요 결과

• 낮은 복잡도의 스토케스틱 필드를 지닌 단순한 1차원 문제에서는 선형 DR 방법(예: PCA, k-PCA, ICA)이 정확도와 속도의 최적 균형을 이룩하였으며, 훈련 시간은 수초 수준이었다.
• 다양한 척도의 스토케스틱 필드와 시공간 응답을 포함하는 복잡한 문제(예: 열 방정식, Brusselator 방정식)에서는 비선형 DR 방법(예: 오토에인코더, LLE)이 선형 방법보다 정확도에서 뛰어났지만, CPU 비용이 1~3개 정도의 지수 단위로 더 높았다.
• 최적의 PCE 대체 모델은 항상 최대 다항식 차수 2~4로 구성되었으며, 이는 DR가 부드럽고 저차원의 다양체를 드러내어 저차수 다항식 근사에 적합함을 시사한다.
• 표준 PCA를 사용한 DR과 PCE를 사용한 m-PCE 프레임워크는 딥 뉴럴 네트워크 기반 대체 모델과 유사한 예측 정확도를 달성했지만, 훈련 시간은 최대 4개 지수 단위 빠르게 되었다.
• 정확도와 계산 비용을 함께 고려할 때, 단순한 DR 방법은 특히 내재 차원수가 낮은 문제에서는 복잡하고 과도하게 파rameter화된 대안들보다 뛰어난 성능을 보였다.
• 이 연구는 m-PCE가 입력 데이터의 내재 차원수가 낮고 비지도 DR로 효과적으로 포착될 수 있는 경우, 비용이 많이 드는 딥러닝 대체 모델에 비해 비용 효율적인 대안임을 확인한다.