[논문 리뷰] A Strategy for Adaptive Sampling of Multi-fidelity Gaussian Process to Reduce Predictive Uncertainty

Sayan Ghosh, Jesper Kristensen외 3명|arXiv (Cornell University)|2019. 07. 26.

Advanced Multi-Objective Optimization Algorithms참고 문헌 40인용 수 4

한 줄 요약

이 논문은 예측 불확실성 감소 대비 단위 비용을 최대화하기 위해 다음 설계 점과 품질 수준을 동시에 선택하는 새로운 적응형 샘플링 전략을 제안한다. 품질 수준 인식 불확실성 대 비용 비율 기준을 도입하고, 예측 불확실성 감소를 정량화하기 위해 'Believer' 개념을 통합함으로써, 특히 높은 품질 수준 비용 비율에서 기존 기준 대비 유의하게 낮은 총 비용을 달성하면서도 예측 정확도를 유지하거나 향상시킨다.

ABSTRACT

Multi-fidelity Gaussian process is a common approach to address the extensive computationally demanding algorithms such as optimization, calibration and uncertainty quantification. Adaptive sampling for multi-fidelity Gaussian process is a changing task due to the fact that not only we seek to estimate the next sampling location of the design variable, but also the level of the simulator fidelity. This issue is often addressed by including the cost of the simulator as an another factor in the searching criterion in conjunction with the uncertainty reduction metric. In this work, we extent the traditional design of experiment framework for the multi-fidelity Gaussian process by partitioning the prediction uncertainty based on the fidelity level and the associated cost of execution. In addition, we utilize the concept of Believer which quantifies the effect of adding an exploratory design point on the Gaussian process uncertainty prediction. We demonstrated our framework using academic examples as well as a industrial application of steady-state thermodynamic operation point of a fluidized bed process

연구 동기 및 목표

• 서rogate 모델링에서 다중 품질 수준 모델에 대한 제한된 계산 및 실험 예산을 효율적으로 할당하는 문제를 해결한다.
• 기존의 적응형 샘플링 기법이 품질 수준 선택과 설계 점 선택을 별개의 결정으로 간주하는 한계를 극복한다.
• 예측 불확실성 감소와 품질 수준별 비용 간의 균형을 고려한 통합 기준을 개발하여 샘플링 효율성을 향상시킨다.
• 가우시안 프로세스 문헌에서 유래한 'Believer' 프레임워크를 통합하여 새로운 데이터 포인트가 불확실성 감소에 미치는 영향을 정량화함으로써, 다중 품질 수준 환경에서의 의사결정을 향상시킨다.
• 분석적 테스트 케이스와 유체화된 벽 열역학 모델링 분야의 실제 산업 적용 사례를 통해 제안된 방법의 효과성을 입증한다.

제안 방법

• 각 후보 설계 점에서 각 품질 수준에 대해 불확실성 감소 대비 단위 비용을 평가하는 새로운 적응형 샘플링 기준인 최대 개별 품질 수준 불확실성 대 비용 비율(Max IF-UCR)을 제안한다.
• 전체 예측 불확실성을 저품질 모델과 보정(차이) 모델에 기인하는 성분으로 분해하여, 품질 수준별 불확실성 정량화를 가능하게 한다.
• 가우시안 프로세스 문헌에서 유래한 'Believer' 개념을 통합하여, 새로운 데이터 포인트 추가 시 기대되는 예측 불확실성 감소를 평가함으로써 샘플링 결정의 정보성 향상.
• Max IF-UCR를 확장하여, 품질 수준별 불확실성 감소와 Believer 메트릭을 조합한 Max IF-UCR bel을 제안함으로써 예측 성능 향상 추정을 향상시킨다.
• 고품질 출력을 저품질 예측 결과에 보정 함수를 적용하여 모델링하는 다중 품질 수준 가우시안 프로세스 프레임워크를 사용한다.
• 제안된 기준을 반복적으로 적용한다: 가장 높은 IF-UCR 또는 IF-UCR bel 값을 가진 다음 샘플링 점과 품질 수준을 선택하고, 새로운 데이터로 서rogate 모델을 업데이트한다.

실험 결과

연구 질문

• RQ1 설계 점과 품질 수준 선택을 동시에 최적화함으로써 다중 품질 수준 가우시안 프로세스의 적응형 샘플링은 어떻게 향상될 수 있는가?
• RQ2 품질 수준별 불확실성 분해를 통합함으로써 샘플링 효율성과 비용 절감에 어떤 영향을 미치는가?
• RQ3 'Believer' 메트릭은 전역적 불확실성 메트릭 대비 다중 품질 수준 환경에서 정보성 있는 데이터 포인트 선택에 어떻게 기여하는가?
• RQ4 다양한 품질 수준 비용 비율에서 제안된 Max IF-UCR 및 Max IF-UCR bel 기준은 기준 기준(Max MF-UCR) 대비 어떻게 성능을 발휘하는가?
• RQ5 실제 공학 적용 분야에서 제안된 방법은 예측 정확도를 유지하거나 향상시키면서 총 비용을 얼마나 줄이는가?

주요 결과

• 고품질 대 저품질 비용 비율이 2:1일 경우, 제안된 Max IF-UCR 및 Max IF-UCR bel 방법은 기준 Max MF-UCR 대비 비용 우월성이 거의 없었으며, 비용 차이가 유의미하지 않았다.
• 더 높은 비용 비율(5:1 및 10:1)에서, Max IF-UCR 및 Max IF-UCR bel 모두 기준 Max MF-UCR 대비 유의미하게 낮은 총 비용을 달성했으며, 이 중 Max IF-UCR가 가장 우수한 성능을 보였다.
• 고비용 비율에서 Max IF-UCR bel 버전은 Max IF-UCR와 유사한 성능 추세를 보였으며, 이는 Believer 확장이 효율성을 희생시키지 않고도 안정성을 향상시킨다는 것을 시사한다.
• 유체화된 벽 공정 사례에서 루트 평균 제곱 오차(RMSE)는 모든 방법에서 유사한 범위로 수렴하여, 비용 차이에도 불구하고 예측 정확도가 유지됨을 나타낸다.
• 임의로 선택된 초기 샘플을 가진 10회의 독립 실행에서 메서드가 뚜렷한 성능을 유지함으로써, 다양한 초기 조건 하에서도 일관된 성능을 보임을 확인하였다.
• 적응형 샘플링 프레임워크는 고품질 평가 횟수를 줄이며 예측 불확실성을 효과적으로 감소시켰으며, 특히 고품질 시뮬레이션 비용이 저품질 대비 높을 경우에 두드러진 효과를 보였다.