[논문 리뷰] Kriging-based sequential design strategies using fast cross-validation techniques with extensions to multi-fidelity computer codes

Loïc Le Gratiet, Claire Cannamela|arXiv (Cornell University)|2012. 10. 23.

Advanced Multi-Objective Optimization Algorithms참고 문헌 21인용 수 12

한 줄 요약

이 논문은 예측 오차가 높은 영역을 대상으로 하여 정확도를 향상시키기 위해 크리깅 분산과 유한한 하나의 교차검증(LOO-CV) 오차를 조합한 크리깅 기반 순차적 설계 전략을 제안한다. 이는 다중 정밀도 공-크리깅으로 확장되어 정확도가 높은 코드와 낮은 정밀도 코드 간의 최적의 시뮬레이션 배분을 가능하게 하며, 낮은 정밀도 코드가 유의미한 경우 기존 크리깅보다 뛰어난 성능을 보이며, 그렇지 않은 경우 동등한 성능을 유지함을 입증하였다.

ABSTRACT

Kriging-based surrogate models have become very popular during the last decades to approximate a computer code output from few simulations. In practical applications, it is very common to sequentially add new simulations to obtain more accurate approximations. We propose in this paper a method of kriging-based sequential design which combines both the error evaluation providing by the kriging model and the observed errors of a Leave-One-Out cross-validation procedure. This method is proposed in two versions, the first one selects points one at-a-time. The second one allows us to parallelize the simulations and to add several design points at-a-time. Then, we extend these strategies to multi-fidelity co-kriging models which allow us to surrogate a complex code using fast approximations of it. The main advantage of these extensions is that it not only provides the new locations where to perform simulations but also which versions of code have to be simulated (between the complex one or one of its fast approximations). A real multi-fidelity application is used to illustrate the efficiency of the proposed approaches. In this example, the accurate code is a two-dimensional finite element model and the less accurate one is a one-dimensional approximation of the system.

연구 동기 및 목표

• 예측 오차가 가장 높은 영역에서 새로운 설계 포인트를 순차적으로 선택하여 크리깅 대체 모델 정확도를 향상시키기 위해 크리깅 분산과 LOO-CV 오차를 조합한 전략을 사용한다.
• 정확도를 유지하면서 동시에 여러 포인트를 추가할 수 있는 병렬화 가능한 순차적 설계 전략을 개발한다.
• 제안된 기준을 다중 정밀도 공-크리깅 모델로 확장하여 입력 위치와 코드 버전(정확하거나 낮은 정밀도)을 동시에 선택할 수 있도록 한다.
• 각 코드 수준의 계산 비용과 예측 기여도를 고려하여 고정된 CPU 예산 내에서 고정밀도 및 저정밀도 코드 간 자원 할당을 최적화한다.
• 1D 근사 모델을 낮은 정밀도 코드로 사용하는 구형 탱크에 대한 실제 유한요소 응용 문제를 통해 방법을 검증한다.

제안 방법

• 논문은 LOO-CV 오차를 사용하여 실제 모델 오차가 높은 영역을 식별하며, 이는 단지 설계 포인트의 근접도를 반영하기만 하는 크리깅 분산을 보완한다.
• Dubrule(1983)의 빠른 분석 공식을 활용하여 LOO-CV 오차를 효율적으로 계산함으로써 재학습의 고비용을 피한다.
• 순차적 크리깅을 위해 두 가지 전략을 제안한다: 한 번에 한 포인트씩 추가하는 전략과 동시에 q개 포인트를 추가하는 전략으로, 후자는 병렬 시뮬레이션을 가능하게 한다.
• 다중 정밀도 공-크리깅을 위해, 총 분산에 대한 각 코드 수준의 기여도와 CPU 시간 비율을 고려한 IMSE 감소를 위한 프록시를 도입한다.
• 이 방법은 어디에 샘플링할 것인지뿐만 아니라 예상 오차 감소 대비 시간 단위 당 효율성을 기반으로 낮은 정밀도 코드 또는 정확한 코드 중 어느 것을 시뮬레이션할지 결정한다.
• 알고리즘은 모델 수렴에 따라 코드 수준 간에 런을 동적으로 할당하며, 낮은 정밀도 코드가 정보를 제공할 경우 초기에는 이를 우선적으로 활용하고, 모델이 수렴함에 따라 정확한 코드로 전환한다.

실험 결과

연구 질문

• RQ1 크리깅 분산과 LOO-CV 오차를 조합하면 비정상성 문제에서 분산 기반 기준보다 더 효과적인 순차적 설계가 가능할까?
• RQ2 크리깅 기반 대체 모델링에서 정확도를 유지하면서도 효율적으로 병렬화된 순차적 설계를 어떻게 구현할 수 있을까?
• RQ3 입력 위치와 코드 버전 선택을 동시에 최적화하는 순차적 설계 전략이 다중 정밀도 공-크리깅에 유익한가?
• RQ4 낮은 정밀도 코드와 정확한 코드 간 상관관계가 변화할 때 제안된 방법은 어떻게 적응하며, 낮은 정밀도 코드가 정보가 없을 경우 성능은 어떠한가?
• RQ5 고정된 CPU 예산 하에서 고정밀도 및 저정밀도 코드 간 계산 자원 할당을 얼마나 효과적으로 최적화할 수 있는가?

주요 결과

• 제안된 크리깅 기준은 비정상 함수에서 기존의 분산 기반 기준보다 유의미하게 뛰어난 성능을 보이며, 경험적 MSE 수렴 속도가 향상되었다.
• 정상 함수에 대해서는 새로운 기준이 기존 기준과 유사한 성능을 보이며, 다양한 함수 유형에 대한 강건성을 확인하였다.
• 구형 탱크 응용 사례에서, 방법은 낮은 정밀도 코드가 정확한 코드와 약 45%의 약한 상관관계를 가지며 최소한의 런을 할당하는 것으로 밝혀냈다.
• 낮은 정밀도 코드가 정보를 제공할 경우, 다중 정밀도 공-크리깅 전략은 단독 크리깅보다 더 뛰어난 성능을 달성하여 다중 정밀도 모델링의 가치를 입증하였다.
• 순차적 공-크리깅 전략은 초기에는 낮은 정밀도 코드에 더 많은 시뮬레이션을 할당하고, 모델이 향상됨에 따라 정확한 코드로 전환하는 동적 할당을 수행하였으며, 이는 이론적 기대와 일치하였다.
• 낮은 정밀도 코드가 정보가 없을 경우, 방법은 크리깅과 동등한 성능을 달성하여 이러한 경우 성능 저하가 발생하지 않음을 확인하였다.