[논문 리뷰] An Entropy Search Portfolio for Bayesian Optimization

Bobak Shahriari, Ziyu Wang외 3명|arXiv (Cornell University)|2014. 06. 18.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 41

한 줄 요약

이 논문은 엔트로피 기반 메타기준인 엔트로피 서치 포트폴리오(ESP)를 제안한다. 이는 전역 최적해에 대한 기대 정보 수익을 기반으로 산술 함수를 선택하며, 과거 성능에 기반한 기존 방법과는 달리, 베이지안 최적화 포트폴리오의 정보 이론적 메타기준이다. ESP는 개별 산술 함수와 기존 포트폴리오 방법을 모두 능가하며, 종종 최고의 구성 전략을 초월하고 열악한 전문가가 포함된 경우에도 강건성을 보인다.

ABSTRACT

Bayesian optimization is a sample-efficient method for black-box global optimization. How- ever, the performance of a Bayesian optimization method very much depends on its exploration strategy, i.e. the choice of acquisition function, and it is not clear a priori which choice will result in superior performance. While portfolio methods provide an effective, principled way of combining a collection of acquisition functions, they are often based on measures of past performance which can be misleading. To address this issue, we introduce the Entropy Search Portfolio (ESP): a novel approach to portfolio construction which is motivated by information theoretic considerations. We show that ESP outperforms existing portfolio methods on several real and synthetic problems, including geostatistical datasets and simulated control tasks. We not only show that ESP is able to offer performance as good as the best, but unknown, acquisition function, but surprisingly it often gives better performance. Finally, over a wide range of conditions we find that ESP is robust to the inclusion of poor acquisition functions.

연구 동기 및 목표

• 베이지안 최적화에서 문제 유형에 따라 성능이 크게 달라지며 사전에 알려져 있지 않은 산술 함수의 최적 선택 문제를 해결하기 위해.
• 과거 성능 지표에 의존하는 포트폴리오 방법의 한계를 극복하기 위해, 다양한 산술 전략을 선택할 때 잘못된 신호를 줄 수 있는 과거 성능 기반의 메트릭스에 의존하지 않는 방법을 개발하기 위해.
• 열악하거나 성능이 저하되는 산술 함수가 포함된 경우에도 강건성을 유지하면서 다양한 최적화 문제에서 높은 성능을 유지할 수 있는 메타기준을 개발하기 위해.
• 목적 함수의 대표적인 최소값을 체계적으로 샘플링할 수 있는 방법을 도입하여 톰슨 샘플링을 연속 영역으로 확장하기 위해.
• 실세계 문제와 합성 문제를 대상으로 실험적으로 평가하여, 제안된 방법이 뛰어난 성능과 강건성을 동시에 확보하고 있음을 입증하기 위해.

제안 방법

• ESP는 정보 이론 원리에 기반한 포트폴리오 메타기준을 구성하며, 특히 전역 최소값에 대한 사후 분포의 엔트로피를 기대값으로 감소시키는 것을 목표로 한다.
• 이 방법은 사후 분포 $ p( extbf{x}_ ext{star}| ext{D}) $ 에서 후보 최소값을 근사적으로 샘플링하며, Rahimi와 Recht(2007)의 기법을 유사하게 활용하여 연속 영역에서의 톰슨 샘플링을 가능하게 한다.
• 잠재적인 전역 최적해를 근사하는 데 사용되는 대표점(레프레젠터)을 생성하는 서브루틴을 활용하여, 각 산술 함수의 정보 수익을 평가할 수 있도록 한다.
• 메타기준은 과거 성능나 히우리스틱 메트릭스에 의존하지 않고, 전역 최소값의 위치에 대한 기대 정보 수익을 최대화하는 산술 함수를 선택한다.
• 각 반복에서 포트폴리오의 메타기준을 통해 다음 평가 지점을 선택하는 베이지안 최적화 루프에 통합되며, 이는 정보 수익 기반으로 동적으로 가장 성능이 좋은 산술 함수를 선택한다.
• 다양한 벤치마크를 사용하여 평가되었으며, 합성 함수, 지구통계 데이터셋(Brenda 및 Agromet), 제어 과제(Walker 및 Repeller)를 포함하며, 기존 포트폴리오 방법과 개별 산술 함수와의 비교를 수행했다.

실험 결과

연구 질문

• RQ1 정보 이론 기반 메타기준은 과거 성능에 기반한 포트폴리오 방법보다 베이지안 최적화에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 제안된 엔트로피 서치 포트폴리오(ESP)는 다양한 최적화 문제에서 알려지지 않은 최고의 산술 함수와 비슷하거나 더 뛰어난 성능을 달성하는가?
• RQ3 포트폴리오에 성능이 열악하거나 점점 악화되는 산술 함수가 포함된 경우 ESP의 강건성은 어떠한가?
• RQ4 체계적인 전역 최소값 대표점 샘플링 방법을 도입함으로써 톰슨 샘플링을 연속 영역으로 효과적으로 확장할 수 있는가?
• RQ5 ESP는 비연속적이거나 날카로운 목적 함수를 포함한 다양한 차원성과 구조를 가진 문제에서 강력한 성능을 유지하는가?

주요 결과

• ESP는 지구통계 데이터셋인 Brenda와 Agromet에서 모든 베이스라인 포트폴리오 방법(RP 및 GPHedge 포함)을 능가했으며, 두 데이터셋 모두 최고의 성능 기록을 달성했다.
• Brenda 데이터셋에서는 ESP가 모든 다른 방법, 포함 최고의 개별 산술 함수(톰슨 샘플링)까지도 뛰어넘는 성능을 보였으며, 이는 최고의 구성 전략을 초월할 수 있음을 보여준다.
• Repeller 제어 과제에서는 ESP가 최고 성능을 기록한 방법(RP)과 경쟁했으며, 열악한 전문가가 포함된 경우에도 성능 저하가 최소한이었기 때문에 더 강건함을 입증했다.
• ESP9(열악한 산술 함수 포함 9개의 산술 함수 포함)는 ESP와 거의 동일한 성능를 기록했으며, 열악한 전문가가 포함된 경우에도 강건성을 보임을 시사한다.
• 전역 최소값의 대표점 샘플링을 위한 제안된 방법은 톰슨 샘플링을 연속 영역으로 체계적으로 확장할 수 있도록 했으며, 실험적으로 검증되었고 최적화 과정에서 효과적임을 입증했다.
• Walker 제어 과제에서는 ESP가 최고의 포트폴리오 방법이었으며, GPHedge는 성능이 열악했기에, 이는 메서드가 복잡한 고차원 문제에 적응 가능함을 보여준다.