[논문 리뷰] What do you Mean? The Role of the Mean Function in Bayesian Optimisation

George De Ath, Jonathan E. Fieldsend외 1명|Open Research Exeter (University of Exeter)|2020. 04. 17.

Advanced Multi-Objective Optimization Algorithms참고 문헌 40인용 수 5

한 줄 요약

이 논문은 가우시안 프로세스 기반 베이지안 최적화에서 다양한 평균 함수의 영향을 조사하며, 관측된 최악의 함수 값으로 상수 평균 함수를 사용할 경우 고차원 합성 문제에서 수렴 속도가 일관되게 향상됨을 발견하였다. 이는 탐색을 강화함으로써 발생한다. 표준 선택인 산술 평균보다 우수하며, 고차원 설정에서 기대 개선도(Expected Improvement)와 함께 사용하는 것을 권장한다.

ABSTRACT

Bayesian optimisation is a popular approach for optimising expensive black-box functions. The next location to be evaluated is selected via maximising an acquisition function that balances exploitation and exploration. Gaussian processes, the surrogate models of choice in Bayesian optimisation, are often used with a constant prior mean function equal to the arithmetic mean of the observed function values. We show that the rate of convergence can depend sensitively on the choice of mean function. We empirically investigate 8 mean functions (constant functions equal to the arithmetic mean, minimum, median and maximum of the observed function evaluations, linear, quadratic polynomials, random forests and RBF networks), using 10 synthetic test problems and two real-world problems, and using the Expected Improvement and Upper Confidence Bound acquisition functions. We find that for design dimensions $\ge5$ using a constant mean function equal to the worst observed quality value is consistently the best choice on the synthetic problems considered. We argue that this worst-observed-quality function promotes exploitation leading to more rapid convergence. However, for the real-world tasks the more complex mean functions capable of modelling the fitness landscape may be effective, although there is no clearly optimum choice.

연구 동기 및 목표

• 다양한 평균 함수가 베이지안 최적화 성능에 미치는 영향, 특히 수렴 속도와 해의 품질 측면에서의 영향을 조사하기 위해.
• 표준 이외의 평균 함수(예: 0 또는 산술 평균 외의 함수)가 최적화 결과를 향상시킬 수 있는지 확인하기 위해.
• 합성 벤치마크와 실제 문제 간에 평균 함수의 효과가 다를 수 있는지 평가하기 위해.
• 고차원 최적화에서 탐색을 강화하는 데 효과적인 단순한 평균 함수 전략에 대한 경험적 증거를 제공하기 위해.

제안 방법

• 여덟 가지 평균 함수를 평가: 상수 함수(관측된 값의 산술 평균, 최소값, 중앙값, 최대값), 선형 및 이차 다항식, 랜덤 포레스트, RBF 네트워크.
• 10개의 합성 테스트 문제와 차원 2에서 10까지의 2개의 실제 문제에 대해 기대 개선도와 상한 신뢰도 경계 확보 함수를 사용한 베이지안 최적화를 적용하였다.
• 초기 샘플은 제약된 영역 내에서 균일하게 추출되었으며, CMA-ES를 사용하여 확보 함수를 최적화하였고, 제약 위반에 대해 페널티를 적용하였다.
• 수렴은 51회의 독립 실행에 걸쳐 중앙값의 회귀와 1사분자와 3사분자 범위로 측정되었으며, 통계적 동등성은 비모수적 검정을 통해 평가되었다.
• 이 연구에서는 최적화 중 평균 함수를 고정하였으며, 평균과 커널 하이퍼파rameter의 동시 학습은 고려하지 않았다.
• 성능 평가 기준은 수렴 속도와 찾은 최고 해의 품질이었다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 모델에서 평균 함수의 선택이 베이지안 최적화의 수렴 속도에 유의미한 영향을 미치는가?
• RQ2 상수, 다항식, 비모수적 평균 함수들이 합성 문제와 실제 문제에서 성능 측면에서 어떻게 비교되는가?
• RQ3 고차원 설정에서 표준 선택인 0 또는 산술 평균보다 항상 뛰어난 성능을 보이는 평균 함수가 존재하는가?
• RQ4 왜 합성 벤치마크와 실제 응용 간에 평균 함수의 성능이 다를까?

주요 결과

• 디자인 차원이 5 이상인 경우, 합성 문제에서 관측된 최악의 함수 값으로 설정된 상수 평균 함수(Max)가 다른 평균 함수보다 일관되게 우수한 성능을 보이며 수렴 속도를 향상시켰다.
• Max 평균 함수는 10개의 합성 테스트 함수 중 9개에서 최고 성능을 보인 평균 함수와 통계적으로 동등했으며, 다양한 함수 형태에 걸쳐 뛰어난 안정성을 보였다.
• 실제 문제(PitzDaily와 로봇 밀기)에서는 Max 평균 함수가 일반적으로 사용되는 산술 평균과 비슷한 성능을 보였지만, 어떤 단일 평균 함수도 뚜렷하게 우세하지는 않았다.
• Max 평균 함수는 보수적인 사전 기대치를 설정함으로써 탐색을 촉진하며, 탐색이 모델의 불확실성에 의해 암묵적으로 제공되는 고차원 환경에서 수렴을 향상시킨다.
• 합성 벤치마크는 실제 문제의 기능적 형태를 반영하지 못할 수 있으며, 이는 문제 유형 간에 평균 함수 성능이 일관되지 않다는 점에서 뒷받질린다.
• 결과적으로, 단순하고 데이터 기반의 상수 평균 함수(관측된 최악의 값)는 기대 개선도를 사용하는 고차원 베이지안 최적화에 강력한 기본 전략으로 제안된다.