[논문 리뷰] Numerical studies of the metamodel fitting and validation processes

Bertrand Iooss, Loïc Boussouf외 2명|arXiv (Cornell University)|2010. 01. 07.

Advanced Multi-Objective Optimization Algorithms참고 문헌 27인용 수 60

한 줄 요약

이 논문은 계산 비용이 높을 때 컴퓨터 실험에서 가우시안 프로세스 메타모델링을 위한 최적의 설계 전략을 제안한다. 초기 균일 배치 설계와 순차적 검증에 중점을 두며, 라틴 하이퍼큐브 샘플링에서 래핑-어바운드 불일치를 최소화하면 메타모델의 예측 성능이 향상됨을 보여주고, 미사용 영역에 전략적으로 배치된 테스트 포인트를 사용해 필요한 테스트 포인트 수를 줄이는 순차적 검증 설계를 도입한다. 이는 특히 원자력 안전 시뮬레이션과 같은 고차원 문제에서 랜덤 샘플링보다 뛰어난 성능을 발휘한다.

ABSTRACT

Complex computer codes, for instance simulating physical phenomena, are often too time expensive to be directly used to perform uncertainty, sensitivity, optimization and robustness analyses. A widely accepted method to circumvent this problem consists in replacing cpu time expensive computer models by cpu inexpensive mathematical functions, called metamodels. In this paper, we focus on the Gaussian process metamodel and two essential steps of its definition phase. First, the initial design of the computer code input variables (which allows to fit the metamodel) has to honor adequate space filling properties. We adopt a numerical approach to compare the performance of different types of space filling designs, in the class of the optimal Latin hypercube samples, in terms of the predictivity of the subsequent fitted metamodel. We conclude that such samples with minimal wrap-around discrepancy are particularly well-suited for the Gaussian process metamodel fitting. Second, the metamodel validation process consists in evaluating the metamodel predictivity with respect to the initial computer code. We propose and test an algorithm which optimizes the distance between the validation points and the metamodel learning points in order to estimate the true metamodel predictivity with a minimum number of validation points. Comparisons with classical validation algorithms and application to a nuclear safety computer code show the relevance of this new sequential validation design.

연구 동기 및 목표

• 계산 비용이 높을 때 가우시안 프로세스 메타모델을 적합하기 위한 최적의 초기 설계를 규명하기 위해.
• 추가 시뮬레이션 수를 최소화하면서도 정확한 메타모델 검증을 수행하는 데 도전하기 위해.
• 기존 검증 방법이 실패하는 고차원 입력 공간에서의 예측 성능 추정을 향상시키기 위해.
• 필요한 테스트 포인트 수를 최소화하여 메타모델 검증의 불확실성을 줄이기 위해.
• 전통적인 몬테카를로 및 리브-원아웃 방법보다 뛰어난 성능을 보이는 강건한 순차적 검증 전략을 개발하기 위해.

제안 방법

• 메타모델 적합을 위한 균일한 공간 분포 특성을 향상시키기 위해 최소 래핑-어바운드 L² 불일치를 갖는 최적의 라틴 하이퍼큐브 샘플링(LHS)을 사용한다.
• 선형 회귀 항과 일반화된 지수 공분산 함수를 갖는 가우시안 프로세스(Gp) 모델링을 적용한다.
• 훈련 포인트에서 가장 멀리 떨어진 영역에 집중하여 미사용 영역을 중심으로 테스트 포인트를 선택하는 순차적 검증 설계 알고리즘을 활용한다.
• 계수 $ Q_2 $ 를 사용해 메타모델의 예측 성능을 평가하고, 순차적 및 랜덤 테스트 설계를 비교한다.
• 검증 정확도를 위해 기준 테스트 세트 1000개를 사용해 기준 $ Q_2^{ ext{ref}} $ 를 계산한다.
• 해석 함수와 실제 원자력 안전 코드(CATHARE2)를 사용한 수치 실험을 수행하였으며, 입력 변수는 총 53개이다.

실험 결과

연구 질문

• RQ1 최적의 LHS 변종들 중 어떤 초기 설계가 가장 예측 가능한 가우시안 프로세스 메타모델을 제공하는가?
• RQ2 기존 몬테카를로 및 리브-원아웃 검증과 비교했을 때 순차적 검증 설계는 정확도와 효율성 측면에서 어떻게 다른가?
• RQ3 고차원 설정에서 메타모델 예측 성능을 신뢰할 만하게 추정하기 위해 필요한 최소 테스트 포인트 수는 얼마인가?
• RQ4 초기 설계에서 래핑-어바운드 불일치를 최소화하면 가우시안 프로세스 메타모델 성능이 상당히 향상되는가?
• RQ5 특히 고차원 문제에서 랜덤 샘플링에 비해 순차적 검증 설계가 $ Q_2 $ 추정의 분산과 편향을 줄이는가?

주요 결과

• 최소 래핑-어바운드 불일치를 갖는 최적의 라틴 하이퍼큐브 샘플링은 가우시안 프로세스 메타모델의 예측 성능을 상당히 향상시킨다.
• 원자력 안전 코드(CATHARE2)에서 순차적 검증 설계는 $ N_{ ext{test}} ightarrow 40 $ 에서 정확한 $ Q_2 $ 추정을 달성하지만, 랜덤 샘플링은 높은 분산과 불안정성을 보인다.
• 해석 함수의 경우 순차적 설계는 $ N_{ ext{test}} ightarrow 25 $ 에서 신뢰할 수 있는 $ Q_2 $ 추정을 제공하며, 난잡한 몬테카를로 샘플링을 능가한다.
• 기존 몬테카를로 테스트 샘플링은 높은 입력 차원성($ d = 53 $)으로 인해 $ Q_2 $ 추정치가 매우 변동성이 크며, 종종 오해의 소지가 있는 결과를 도출한다.
• 훈련 샘플 크기가 작을 경우 리브-원아웃 검증은 메타모델의 예측 성능을 과소평가한다.
• 제안된 순차적 검증 설계는 입력 공간의 미사용 영역에 전략적으로 테스트 포인트를 배치함으로써, 특히 고차원 문제에서 추정 오차와 불확실성을 줄인다.