[논문 리뷰] Extending classical surrogate modelling to high-dimensions through supervised dimensionality reduction: a data-driven approach

Christos Lataniotis, Stefano Marelli외 1명|arXiv (Cornell University)|2018. 12. 15.

Probabilistic and Robust Engineering Design참고 문헌 64인용 수 5

한 줄 요약

이 논문은 고차원 문제에서 차원 감소(KPCA를 통한)와 대체 모델링(Kriging 또는 PCE를 통한)을 동시에 최적화하는 데이터 기반의 비침습적 프레임워크인 DRSM(Dimensionality Reduction and Surrogate Modelling)을 제안한다. 저정확도의 대체 모델을 사용해 중첩 최적화 문제를 해결하고, 유한한 관측값을 기반으로 한 이중 교차검증을 통해 일반화 오차를 검증함으로써, 순차적 방법에 비해 향상된 일반화 성능을 달성하여 최대 10^4개의 입력 차원까지 효과적인 대체 모델링을 가능하게 한다.

ABSTRACT

Thanks to their versatility, ease of deployment and high-performance, surrogate models have become staple tools in the arsenal of uncertainty quantification (UQ). From local interpolants to global spectral decompositions, surrogates are characterised by their ability to efficiently emulate complex computational models based on a small set of model runs used for training. An inherent limitation of many surrogate models is their susceptibility to the curse of dimensionality, which traditionally limits their applicability to a maximum of $\mathcal{O}(10^2)$ input dimensions. We present a novel approach at high-dimensional surrogate modelling that is model-, dimensionality reduction- and surrogate model- agnostic (black box), and can enable the solution of high dimensional (i.e. up to $\mathcal{O}(10^4)$) problems. After introducing the general algorithm, we demonstrate its performance by combining Kriging and polynomial chaos expansions surrogates and kernel principal component analysis. In particular, we compare the generalisation performance that the resulting surrogates achieve to the classical sequential application of dimensionality reduction followed by surrogate modelling on several benchmark applications, comprising an analytical function and two engineering applications of increasing dimensionality and complexity.

연구 동기 및 목표

• 기존 방법이 약 10^2개의 입력 차원으로 제한되는 고차원 문제에서의 차원의 극복 문제를 해결한다.
• 기존의 두 단계로 나누어진 비지도 차원 감소(예: PCA) 후 대체 모델링 방식의 비최적성 문제를 해결한다. 이는 출력 정보를 무시하는 방식이기 때문이다.
• 기존 알고리즘을 수정하지 않고도 차원 감소와 대체 모델링을 통합하는 비침습적이고 블랙박스 기반의 프레임워크를 개발한다.
• 제한된 수의 입력-출력 관측치만 제공되는 고차원 데이터 기반 환경에서도 정확한 대체 모델링을 가능하게 한다.
• 분석적 문제와 복잡한 공학 문제에 걸쳐 증가하는 차원 수에 걸쳐 프레임워크의 강건성과 일반화 성능을 입증한다.

제안 방법

• 차원 감소(KPCA)와 대체 모델링(Kriging 또는 PCE)의 파라미터를 동시에 최적화하는 중첩 최적화 문제를 수립한다.
• 최적화 단계에서 계산 비용을 줄이기 위해 저정확도의 대체 모델(예: 굵은 그리드를 사용한 Kriging)을 사용한다.
• 일반화 오차의 대체 지표로 유한한 관측값 교차검증(LOO) 오차를 활용하여 파라미터 선택을 유도한다.
• 데이터 적응형 커널(예: RBF)을 사용한 커널 주성분 분석(KPCA)을 적용하여 고차원 입력에서의 비선형적 구조를 포착한다.
• 전역 최적화 전략을 사용하여 감소된 차원 수와 커널 하이퍼파rameter를 동시에 최적화한다.
• 마지막으로 이전 단계에서 확보한 최적의 파라미터를 기반으로 고정밀도 대체 모델을 학습시켜 비침습성과 상용 도구와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 고차원 문제에서 기존의 순차적 방법(차원 감소 → 대체 모델링)에 비해 공동 최적화 프레임워크가 더 나은 성능을 내는가?
• RQ2 출력 정보를 반영한 차원 감소(예: 출력 인식 커널 튜닝을 적용한 KPCA)는 비지도 방법(예: PCA)에 비해 대체 모델의 일반화 성능을 얼마나 향상시키는가?
• RQ3 공동 DR 및 SM 최적화 맥락에서 LOO 오차가 일반화 오차의 신뢰할 수 있는 대체 지표로 기능할 수 있는가?
• RQ4 제안된 DRSM 프레임워크는 분석 함수와 구조적 입력을 가진 복잡한 공학적 응용 분야를 포함한 다양한 문제 유형에서 뛰어난 성능을 유지하는가?
• RQ5 기본적으로 확률적 과정에 대한 사전 지식이 없는 순수 데이터 기반 시나리오에서도 이 프레임워크를 적용할 수 있는가?

주요 결과

• 모든 벤치마크 문제에서 DRSM은 순차적 방법보다 낮은 검증 오차를 지속적으로 달성하며, Kriging 기반 대체 모델에서 가장 두드러진 향상이 관찰된다.
• Kriging의 경우, DRSM은 PCA 및 거리 유지 튜닝을 적용한 KPCA보다 뛰어난 성능을 보이며, 출력 정보를 반영한 차원 감소의 이점을 입증한다.
• 다항 chaos 전개(PCE) 응용에서는 PCA 및 KPCA에 비해 약간의 개선이지만 일관된 성능 향상을 보이며, 다양한 대체 모델 유형에 대한 강건성을 입증한다.
• LOO 오차를 일반화 오차의 대체 지표로 사용함으로써 추가 모델 평가 없이도 DR 및 SM 파라미터의 효과적인 튜닝이 가능하다.
• 이 프레임워크는 비침습적이며 상용 대체 모델링 도구와 호환되어 기존 소프트웨어 스택과 원활하게 통합될 수 있다.
• DRSM은 최대 O(10^4)개의 입력 차원을 가진 문제에서도 효과적인 대체 모델링을 가능하게 하여, 기존 고전적 대체 모델의 적용 가능 범위를 크게 확장한다.