[논문 리뷰] A Multi-Fidelity Active Learning Method for Global Design Optimization Problems with Noisy Evaluations

Riccardo Pellegrini, Jeroen Wackers외 4명|arXiv (Cornell University)|2022. 02. 14.

Advanced Multi-Objective Optimization Algorithms인용 수 4

한 줄 요약

이 논문은 노이즈 있는 평가 조건 하에서 전역 설계 최적화를 향상시키기 위해 적응형 초모수 최적화를 갖춘 확률적 라디얼 기저 함수를 사용하는 다중 신뢰도 활성 학습 방법을 제안한다. 저신뢰도 시뮬레이션과 교정 오차 서rogate 모델을 결합하고, 하한 신뢰도 기반 기준을 통해 설계 점과 신뢰도 수준을 동시에 선택함으로써, 특히 고차원 문제와 노이즈가 많은 환경에서 고신뢰도 모델에 비해 뛰어난 정확도와 효율성을 달성한다.

ABSTRACT

A multi-fidelity (MF) active learning method is presented for design optimization problems characterized by noisy evaluations of the performance metrics. Namely, a generalized MF surrogate model is used for design-space exploration, exploiting an arbitrary number of hierarchical fidelity levels, i.e., performance evaluations coming from different models, solvers, or discretizations, characterized by different accuracy. The method is intended to accurately predict the design performance while reducing the computational effort required by simulation-driven design (SDD) to achieve the global optimum. The overall MF prediction is evaluated as a low-fidelity trained surrogate corrected with the surrogates of the errors between consecutive fidelity levels. Surrogates are based on stochastic radial basis functions (SRBF) with least squares regression and in-the-loop optimization of hyperparameters to deal with noisy training data. The method adaptively queries new training data, selecting both the design points and the required fidelity level via an active learning approach. This is based on the lower confidence bounding method, which combines performance prediction and associated uncertainty to select the most promising design regions. The fidelity levels are selected considering the benefit-cost ratio associated with their use in the training. The method's performance is assessed and discussed using four analytical tests and three SDD problems based on computational fluid dynamics simulations, namely the shape optimization of a NACA hydrofoil, the DTMB 5415 destroyer, and a roll-on/roll-off passenger ferry. Fidelity levels are provided by both adaptive grid refinement and multi-grid resolution approaches. Under the assumption of a limited budget of function evaluations, the proposed MF method shows better performance in comparison with the model trained by high-fidelity evaluations only.

연구 동기 및 목표

• 공학 최적화를 위한 시뮬레이션 기반 설계(SDD)에서 계산 비용이 많이 들고 노이즈가 많은 시뮬레이션의 과제를 해결한다.
• 다양한 신뢰도 수준을 활용하여 계산 비용을 줄이면서도 높은 정확도를 유지하는 전역 최적화를 실현한다.
• 모델이 노이즈가 많은 영역에 과적합되는 문제를 해결하기 위해 기존 활성 학습의 한계를 극복한다.
• 비용-편익 균형을 기반으로 최적의 설계 점과 신뢰도 수준을 동적으로 선택하는 적응형 프레임워크를 개발한다.
• 불확실성 인식 활성 학습과 함께 다중 신뢰도 서rogate 모델링을 활용하여 고차원 설계 공간에서 탐색과 이용의 균형을 향상시킨다.

제안 방법

• 노이즈가 있는 학습 데이터를 처리하기 위해 최소 제곱 회귀와 내부에서 초모수 최적화를 수행하는 확률적 라디얼 기저 함수(SRBF)를 사용한 일반화된 다중 신뢰도 서rogate 모델을 구축한다.
• 전반적인 예측을 연속적인 신뢰도 수준 간의 오차 서rogate로 보정된 저신뢰도 서rogate 모델로 모델링함으로써 계층적 정확도 향상을 가능하게 한다.
• 예측과 불확실성의 균형을 고려하여 가장 정보가 많은 설계 점을 선택하는 하한 신뢰도 기반 기준(LCB) 기반 활성 학습 전략을 구현한다.
• 비용-편익 비율을 기반으로 각 신규 평가에 대해 적절한 신뢰도 수준을 동적으로 선택하여 전체 계산 부담을 줄인다.
• 적응형 격자 정밀화와 다중 격자 해상도를 자연스러운 신뢰도 수준의 원천으로 활용하여 CFD 시뮬레이션 전반에 걸쳐 일관된 다중 신뢰도 데이터 생성을 가능하게 한다.
• 교차검증을 대체하기 위해 군집 지표(예: 군집 내 제곱합, 실루엣 점수)를 사용하여 RBF 중심의 수를 최적화한다.

실험 결과

연구 질문

• RQ1 노이즈 있는 평가 조건 하에서 다중 신뢰도 활성 학습 프레임워크가 고신뢰도 모델에 비해 정확도와 계산 효율성 면에서 뛰어나게 되는가?
• RQ2 신뢰도 수준의 수를 늘릴수록 고차원 설계 공간에서 서rogate 모델의 성능과 강건성은 어떻게 변화하는가?
• RQ3 LCB 기반 활성 학습 전략은 노이즈 유발 과적합을 어느 정도 완화하고 설계 공간 탐색을 향상시키는가?
• RQ4 적응형 신뢰도 선택 및 오차 보정 메커니즘은 고비용 고신뢰도 평가를 최소화하면서도 모델 정확도를 어떻게 향상시키는가?
• RQ5 다중 격자 및 적응형 격자 정밀화 방법은 다중 신뢰도 최적화 프레임워크에서 효과적이고 자연스러운 신뢰도 수준으로 기능할 수 있는가?

주요 결과

• 세 신뢰도 수준을 갖는 다중 신뢰도 서rogate 모델은 고차원 문제(D=5 및 D=10)에서 특히 두드러진 예측 오차를 보이며, 이는 이중 및 고신뢰도 모델보다 항상 뛰어난 성능을 보였다.
• NACA 수중익과 DTMB 5415 구축물 문제에서 세 신뢰도 MF 모델은 이중 신뢰도 모델보다 낮은 오차를 기록하여 더 높은 강건성과 노이즈 필터링 능력을 입증했다.
• 활성 학습 과정은 저신뢰도 예측의 높은 불확실성 덕분에 설계 공간의 더 넓은 탐색을 가능하게 했으며, 특히 노이즈가 많은 영역에서 두드러졌다.
• LCB 기반 선택 전략은 학습 점에서의 비영구적인 불확실성으로 인해 노이즈 영역에 학습 점이 집중되는 경향을 보였으며, 이는 노이즈 식별 능력을 향상시켰지만 탐색의 균일성은 감소시켰다.
• 제한된 함수 평가 예산 하에서 고신뢰도 모델에 비해 더 뛰어난 성능을 달성했으며, 특히 고차원 및 노이즈가 많은 환경에서 두각을 나타냈다.
• 적응형 격자 정밀화와 다중 격자 해상도가 다중 신뢰도 프레임워크에 자연스럽고 효과적인 신뢰도 수준의 원천으로 기능하는 것으로 입증되었다.