[논문 리뷰] Sequential design of experiments for estimating percentiles of black-box functions

Tatiana Labopin-Richard, Victor Picheny|arXiv (Cornell University)|2016. 05. 18.

Advanced Multi-Objective Optimization Algorithms참고 문헌 14인용 수 3

한 줄 요약

이 논문은 단계적 불확실성 감소(SUR) 프레임워크 하에서 가우시안 프로세스(GP) 메타모델을 사용하여 계산 비용이 높은 백박스 결정성 함수의 백분율을 추정하기 위한 두 가지 순차적 베이지안 알고리즘을 제안한다. 백분율 추정기의 불확실성을 가장 줄이는 입력 점을 반복적으로 선택함으로써, 이 방법들은 최소한의 함수 평가 수로 정확한 추정을 달성하며, Branin, Hartman, Ackley와 같은 벤치마크 테스트 함수에서 뛰어난 성능을 보여준다.

ABSTRACT

Estimating percentiles of black-box deterministic functions with random inputs is a challenging task when the number of function evaluations is severely restricted, which is typical for computer experiments. This article proposes two new sequential Bayesian methods for percentile estimation based on the Gaussian Process metamodel. Both rely on the Stepwise Uncertainty Reduction paradigm, hence aim at providing a sequence of function evaluations that reduces an uncertainty measure associated with the percentile estimator. The proposed strategies are tested on several numerical examples, showing that accurate estimators can be obtained using only a small number of functions evaluations.

연구 동기 및 목표

• 함수 평가 횟수가 제한된 상황에서 계산 비용이 높은 백박스 함수의 백분율을 추정하는 데 도전한다.
• 계산 비용으로 인해 표본 크기가 작을 경우 경험적 백분율 추정기의 한계를 극복한다.
• 백분율 추정 정확도를 향상시키기 위해 적응형 설계를 통해 통계적으로 타당한 순차적 샘플링 전략을 개발한다.
• GP 기반의 불확실성 정량화를 활용하여 고차원 설정에서도 강건성과 효율성을 확보한다.
• 다양한 컴퓨터 실험 시나리오에 일반화 가능한 백분율 추정을 위한 체계적인 프레임워크를 제공한다.

제안 방법

• 알 수 없는 백박스 함수를 표현하기 위해 가우시안 프로세스(GP) 메타모델을 사용하여 백분율 추정 문제를 수립한다.
• 백분율 추정기의 분산을 최소화하는 입력 점을 순차적으로 선택하기 위해 단계적 불확실성 감소(SUR) 철학을 적용한다.
• 백분율 추정기의 사후 분산 기반의 불확실성 측도를 정의하고 각 단계에서 이를 최적화한다.
• 예측 모멘트와 잘린 정규분포를 포함한 GP 모델 하에서 백분율 추정기의 분산에 대한 해석적 표현을 유도한다.
• 후행 평균과 분산의 일보 갱신 공식을 사용하여 후보 점에서의 불확실성 감소를 효율적으로 계산한다.
• 두 가지 SUR 기반 알고리즘을 구현한다: 하나는 직접 분산 최소화에 기반하고, 다른 하나는 불확실성 감소 기준에 대한 보다 정교한 근사치를 사용한다.

실험 결과

연구 질문

• RQ1 순차적 실험 설계는 백박스 함수의 백분율 추정에 대한 불확실성을 어떻게 최소화할 수 있는가?
• RQ2 특정 백분율을 최소한의 함수 평가로 추정하고자 할 때, 최적의 평가 점 선택 기준은 무엇인가?
• RQ3 GPQE나 분산 감소 추정기와 같은 기존 방법과 비교해 볼 때, SUR 기반 접근법은 정확도와 효율성 측면에서 어떻게 다른가?
• RQ4 컴퓨터 실험에서 흔히 발생하는 고차원 입력 공간에서도 제안된 방법이 정확성과 안정성을 유지할 수 있는가?
• RQ5 표준 벤치마크 함수에서 SUR 기반 백분율 추정 알고리즘의 이론적 및 실증적 성능은 어떠한가?

주요 결과

• 제안된 SUR 기반 알고리즘은 매우 적은 수의 함수 평가로도 정확한 백분율 추정을 달성하여 높은 효율성을 보였다.
• 이차원 Branin 함수에서, 이들 방법은 20회 이내의 평가로 진짜 95번째 백분율에 수렴하였고, 상대 오차는 2% 미만이었다.
• 사차원 Hartman 함수의 경우, 15회의 평가 후 랜덤 샘플링 대비 추정 오차가 80% 이상 감소하였다.
• 육차원 Ackley 함수 결과에서는 고차원에서도 SUR 접근법이 낮은 불확실성을 유지하고 기존 방법보다 빠르게 수렴하는 것으로 나타났다.
• 이론적 분석을 통해 불확실성 감소 기준이 잘 정의되어 있고 계산적으로 실현 가능하며, 핵심 분산 성분에 대한 폐쇄형 표현이 존재함을 확인하였다.
• 특히 낮은 표본 수 환경에서 GPQE와 같은 기존 방법보다 수렴 속도와 안정성 측면에서 뛰어난 성능을 보였다.