[논문 리뷰] Portfolio Allocation for Bayesian Optimization

Eric Brochu, Matthew W. Hoffman외 1명|arXiv (Cornell University)|2010. 09. 28.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 91

한 줄 요약

이 논문은 온라인 다중 손실 보상 밴딧 전략을 사용하여 다수의 획득 함수 간에 적응적으로 선택하는 포트폴리오 기반 베이지안 최적화 방법인 GP-Hedge를 제안한다. 기대 향상도(Expected Improvement) 및 상한 신뢰구간(Upper Confidence Bound)과 같은 탐색-이용 전략 간에 동적으로 자원을 할당함으로써 GP-Hedge는 단일 획득 함수보다 뛰어난 성능을 달성하며, GP-UCB의 수렴 성질과 관련된 이론적 누적 실책 한계를 제공한다.

ABSTRACT

Bayesian optimization with Gaussian processes has become an increasingly popular tool in the machine learning community. It is efficient and can be used when very little is known about the objective function, making it popular in expensive black-box optimization scenarios. It uses Bayesian methods to sample the objective efficiently using an acquisition function which incorporates the model's estimate of the objective and the uncertainty at any given point. However, there are several different parameterized acquisition functions in the literature, and it is often unclear which one to use. Instead of using a single acquisition function, we adopt a portfolio of acquisition functions governed by an online multi-armed bandit strategy. We propose several portfolio strategies, the best of which we call GP-Hedge, and show that this method outperforms the best individual acquisition function. We also provide a theoretical bound on the algorithm's performance.

연구 동기 및 목표

• 베이지안 최적화에서 다양한 목적 함수에 대해 항상 우수한 성능을 내는 단일 획득 함수가 존재하지 않는다는 도전 과제를 해결하기 위해.
• 성능에 따라 동적으로 조정되는 포트폴리오로 다수의 획득 함수를 통합하여 최적화 효율을 향상시키기 위해.
• 누적 실책 한계를 통해 성능 보장을 제공하는 이론적으로 탄탄한 방법을 개발하기 위해, 개별 획득 함수의 효과성이 다를 경우에도 유사하게.
• 실세계 및 시뮬레이션 최적화 과제에서 적응형 헤지 전략이 정적 획득 함수보다 일관되게 뛰어난 성능을 보일 수 있는지 평가하기 위해.

제안 방법

• 해당 방법은 획득 함수 선택을 다중 손실 보상 밴딧 문제로 모델링하며, 관측된 함수 향상도를 보상으로 사용한다.
• 기대 향상도 (EI), 개선 가능성 확률 (PI), GP-UCB를 포함한 획득 함수 포트폴리오를 유지하고, 과거 성능에 기반해 가중치를 온라인 학습을 통해 업데이트한다.
• 핵심 알고리즘인 GP-Hedge는 가중치 조합을 통해 획득 함수를 조합하며, 성능이 높은 전략을 선호하도록 지수 가중치 방법을 통해 가중치를 업데이트한다.
• 정보 이득과 커널 하이퍼파rameter에 대한 가정 하에 누적 실책을 GP-UCB의 알려진 수렴 성질과 연결함으로써 이론적 실책 한계를 도입한다.
• 목적 함수를 모델링하기 위해 가우시안 프로세스 사전분포와 제곱 지수 커널, 자동 관련성 조정(ARD)을 사용하며, 하이퍼파rameter는 데이터로부터 추정한다.
• 알고리즘은 표준 벤치마크 함수와 실세계 강화 학습 과제에서 평가되었으며, 노이즈가 있는 함수 평가와 순차적 샘플링을 사용한다.

실험 결과

연구 질문

• RQ1 온라인 학습을 통해 동적으로 선택되는 획득 함수 포트폴리오가 베이지안 최적화에서 어떤 단일 획득 함수보다도 뛰어난 성능을 낼 수 있는가?
• RQ2 다양한 부드러움 수준과 구조를 가진 목적 함수에 걸쳐 헤지 전략의 성능은 개별 획득 함수와 비교해 어떻게 다른가?
• RQ3 포트폴리오 기반 베이지안 최적화 방법의 누적 실책에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 포트폴리오에 GP-UCB가 포함될 경우, 비정상적 또는 고차원 설정에서 수렴성과 강인성을 향상시키는가?

주요 결과

• GP-Hedge는 플랫폼이 있는 함수나 비정상적 행동을 보이는 함수와 같이 PI가 어려운 경우를 포함한 표준 벤치마크 함수에서 모든 단일 획득 함수를 능가한다.
• 모든 단일 획득 함수보다 낮은 누적 실책을 달성하며, 시뮬레이션 및 실세계 과제에서 일관된 성과 향상을 경험적으로 입증한다.
• 모든 획득 함수 보상 정보를 관찰하는 풀 인포메이션 헤지 전략은 대부분의 경우 부분 정보 변형보다 뛰어나며, 특히 획득 함수가 상충되는 신호를 제공할 경우 더욱 두드러진다.
• 이론적 실책 한계는 GP-Hedge의 성능가 GP-UCB의 수렴과 관련이 있으며, 반복 횟수가 증가함에 따라 점차 수렴하는 것을 시사하는 비선형 실책 항목을 포함한다.
• 적응형 포트폴리오 메커니즘이 시간이 지남에 따라 열악한 초기 획득 함수 선택을 수정하므로, 초기 선택이 열악하더라도 강인하다.