[논문 리뷰] Adaptive surrogate models for parametric studies

Jan N. Fuhg|arXiv (Cornell University)|2019. 05. 12.

Advanced Multi-Objective Optimization Algorithms참고 문헌 167인용 수 6

한 줄 요약

이 석사학위논문은 매개변수 연구에서 크리깅 기반 대체 모델에 대한 적응형 샘플링 기법에 대한 종합적인 평가를 제시하며, 다중 정밀도 크리깅 및 혼란 동역학의 이진 분류를 위한 새로운 방법을 도입한다. 적응형 샘플링이 요구되는 샘플 수를 크게 줄이며 높은 정확도를 유지함을 입증하였으며, Duffing 진동자에서 혼란 운동을 분류하는 데 있어 기존 방법보다 뛰어난 성능을 보이는 새로운 MIVor 기법을 제안한다.

ABSTRACT

The computational effort for the evaluation of numerical simulations based on e.g. the finite-element method is high. Metamodels can be utilized to create a low-cost alternative. However the number of required samples for the creation of a sufficient metamodel should be kept low, which can be achieved by using adaptive sampling techniques. In this Master thesis adaptive sampling techniques are investigated for their use in creating metamodels with the Kriging technique, which interpolates values by a Gaussian process governed by prior covariances. The Kriging framework with extension to multifidelity problems is presented and utilized to compare adaptive sampling techniques found in the literature for benchmark problems as well as applications for contact mechanics. This thesis offers the first comprehensive comparison of a large spectrum of adaptive techniques for the Kriging framework. Furthermore a multitude of adaptive techniques is introduced to multifidelity Kriging as well as well as to a Kriging model with reduced hyperparameter dimension called partial least squares Kriging. In addition, an innovative adaptive scheme for binary classification is presented and tested for identifying chaotic motion of a Duffing's type oscillator.

연구 동기 및 목표

• 크리깅 메타모델에서 적응형 샘플링을 통해 고비용 시뮬레이션의 수를 최소화하여 매개변수 연구에서 계산 비용을 절감하는 것.
• 기본 및 다중 정밀도 크리깅에 대해 다양한 적응형 샘플링 기법을 벤치마크 및 실제 기계 문제에서 평가하고 비교하는 것.
• 특히 동역학 시스템에서 혼란 행동을 식별하는 데 초점을 맞춘 이진 분류 작업을 위한 새로운 적응형 샘플링 기법을 개발하고 검증하는 것.
• 차원 수와 문제의 복잡성 변화가 크리깅 모델에서 적응형 샘플링 전략의 성능에 미치는 영향을 조사하는 것.
• 초모수 차원 수를 줄이고 다중 정밀도 모델링을 통해 크리깅의 강건성과 효율성을 향상시키는 것.

제안 방법

• 인터폴레이션 및 불확실성 정량화를 위해 보편형 및 일반형 공식을 사용한 가우시안 프로세스 기반 메타모델링 기법으로 크리깅을 채택하였다.
• 교차검증, 분산 기반, 기울기 기반, 쿼리-바이-커미티 방법을 포함한 적응형 샘플링 전략을 구현하여 정보성 높은 샘플을 반복적으로 선택하였다.
• 이진 분류에 특화된 새로운 MIVor(오즈비율의 최소 분산) 적응형 샘플링 기법을 제안하였다.
• 저정밀도 및 고정밀도 시뮬레이션을 통합하여 다중 정밀도 설정으로 크리깅을 확장함으로써, 고정밀도 평가 수를 줄이며 모델 정확도를 향상시켰다.
• 고차원 문제에서 초모수 차원 수를 줄이기 위해 부분 최소 제곱법(PLS)을 적용하여 계산 효율성을 향상시켰다.
• Duffing 진동자에서 혼란 운동을 정의하기 위해 Rosensteins 알고리즘을 사용한 리아프노프 지수 추정을 수행하였다.

실험 결과

연구 질문

• RQ1 다양한 벤치마크 함수에서 가장 적은 샘플 수로 가장 정확한 크리깅 메타모델을 도출하는 데 가장 효과적인 적응형 샘플링 기법은 무엇인가?
• RQ2 문제의 차원 수와 복잡성이 증가함에 따라 적응형 샘플링의 성능은 어떻게 변화하는가?
• RQ3 크리깅 기반 혼란 시스템의 이진 분류를 위한 새로운 적응형 샘플링 기법을 효과적으로 설계할 수 있는가?
• RQ4 다중 정밀도 크리깅은 고정밀도 시뮬레이션 비용을 줄이며 예측 정확도를 유지하거나 향상시키는 데 얼마나 기여하는가?
• RQ5 PLS를 통한 차원 수 감소는 고차원 매개변수 공간에서 크리깅 모델의 안정성과 정확도에 어떤 영향을 미치는가?

주요 결과

• MIVor 적응형 샘플링 기법은 Duffing 진동자에서 혼란 운동과 비혼란 운동을 분류하는 데 있어 표준 기법보다 뛰어난 성능을 보였으며, 더 적은 샘플 수로도 높은 분류 정확도를 달성하였다.
• 분산 기반 및 교차검증 기반 적응형 샘플링은 Ackley 및 Six-Hump Camel 함수와 같은 벤치마크 함수에서 저차원에서 중간 수준의 차원에서 뛰어난 수렴성과 정확도를 보였다.
• Forrester 및 Currin 함수에서 다중 정밀도 크리깅은 단일 정밀도 접근 방식 대비 고정밀도 시뮬레이션 수를 최대 50% 감소시켰으며, 예측 정확도를 유지하거나 향상시켰다.
• PLS-Kriging 접근법은 고차원 문제(예: 10차원 Wong 함수)에서 과적합을 효과적으로 완화하고 모델 안정성을 향상시켜 초모수 추정 오차를 감소시켰다.
• 적응형 샘플링 기법은 저차원에서 중간 수준의 문제(≤7D)에서 가장 효과적이었으며, 차원의 고통의 법칙으로 인해 고차원에서 성능 저하가 관찰되었다.
• 적절한 정규화 및 정지 기준이 다양한 샘플링 전략과 문제 유형 간 일관된 성능을 확보하는 데 핵심적이라는 점이 확인되었다.