[논문 리뷰] ProBO: a Framework for Using Probabilistic Programming in Bayesian Optimization.

Willie Neiswanger, Kirthevasan Kandasamy외 3명|arXiv (Cornell University)|2019. 01. 31.

Machine Learning and Data Classification참고 문헌 16인용 수 7

한 줄 요약

ProBO는 표준 연산을 통해 임의의 확률적 프로그램(PPs)을 베이지안 최적화(BO)에 통합함으로써 모델별 도출 과정이 필요 없도록 하는 프레임워크이다. 블랙박스 추출 함수와 베이지안 전문가의 곱 모델을 도입하여, 표준 BO 방법에 비해 다양한 PP 구현에서 더 높은 쿼리 효율성을 보여준다.

ABSTRACT

Optimizing an expensive-to-query function is a common task in science and engineering, where it is beneficial to keep the number of queries to a minimum. A popular strategy is Bayesian optimization (BO), which leverages probabilistic models for this task. Most BO today uses Gaussian processes (GPs), or a few other surrogate models. However, there is a broad set of Bayesian modeling techniques that we may want to use to capture complex systems and reduce the number of queries. Probabilistic programs (PPs) are modern tools that allow for flexible model composition, incorporation of prior information, and automatic inference. In this paper, we develop ProBO, a framework for BO using only standard operations common to most PPs. This allows a user to drop in an arbitrary PP implementation and use it directly in BO. To do this, we describe black box versions of popular acquisition functions that can be used in our framework automatically, without model-specific derivation, and show how to optimize these functions. We also introduce a model, which we term the Bayesian Product of Experts, that integrates into ProBO and can be used to combine information from multiple models implemented with different PPs. We show empirical results using multiple PP implementations, and compare against standard BO methods.

연구 동기 및 목표

• 다양한 확률적 프로그램(PPs)을 사용할 수 있도록 베이지안 최적화에 통합할 수 있도록 하되, 모델별 도출 과정이 필요로 하지 않도록 하는 것.
• 유연하고 표현력 있는 PPs를 서rogate 모델로 활용하여 최적화 과정에서 비용이 많이 드는 함수 쿼리의 수를 줄이는 것.
• 표준 연산만을 사용하여 임의의 PPs를 포함하는 일반 목적의 프레임워크를 개발하는 것.
• 다양한 PP 구현에 대응할 수 있는 블랙박스 방식의 추출 함수 최적화 방법을 도입하는 것.
• 통합된 BO 프레임워크 내에서 다수의 PPs로부터의 정보를 융합하기 위한 베이지안 전문가의 곱 모델을 제안하는 것.

제안 방법

• 프레임워크는 대부분의 확률적 프로그래밍 언어에서 공통적으로 사용되는 표준 연산을 사용하여 임의의 PPs를 베이지안 최적화에 통합한다.
• 모델별 분석적 도출이 필요 없는 블랙박스 추출 함수를 도입하여, 어떤 PP와도 자동으로 통합할 수 있도록 한다.
• 이러한 블랙박스 추출 함수의 최적화를 위해 표준 유도 없는 또는 기울기 기반 방법을 지원한다.
• 다수의 PPs로부터의 예측을 융합하기 위해 베이지안 전문가의 곱 모델을 제안하여 모델의 표현력과 강건성을 향상시킨다.
• 확장 가능하도록 설계되어, 핵심 BO 구성 요소를 수정하지 않고도 사용자가 어떤 PP의 구현도 쉽게 통합할 수 있다.
• 실증 평가에서는 Pyro, Stan, Tensorflow Probability 등의 다양한 PP 백본을 사용하여 다양한 모델링 시나리오에서의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 모델별 도출 과정이 필요 없이 임의의 확률적 프로그램을 베이지안 최적화에 통합할 수 있는 일반적 프레임워크를 구축할 수 있는가?
• RQ2 분석적 기울기가 없는 복잡하고 표현력 있는 모델 최적화에서, 블랙박스 추출 함수는 얼마나 효과적인가?
• RQ3 베이지안 전문가의 곱을 통해 다수의 PPs를 융합하면 최적화 성능과 샘플 효율성이 향상되는가?
• RQ4 쿼리 효율성과 수렴 속도 측면에서 ProBO는 가우시안 프로세스 기반 표준 BO 방법에 비해 어떻게 비교되는가?
• RQ5 진짜 함수가 복잡하거나 비정상적일 경우, 다양한 PPs를 BO에 사용할 때 실용적 영향은 무엇인가?

주요 결과

• ProBO는 표준 연산만을 사용하여 어떤 확률적 프로그램도 베이지안 최적화에 통합할 수 있도록 하여 모델의 민첩성을 크게 향상시켰다.
• ProBO의 블랙박스 추출 함수는 분석적 도출이 필요 없이도 경쟁적인 성능을 달성하여 즉시 통합이 가능한 플러그 앤 플레이 기능을 제공한다.
• 베이지안 전문가의 곱 모델은 다수의 PPs로부터 온 정보를 효과적으로 융합하여 예측 정확도와 최적화의 강건성을 향상시켰다.
• 실증 결과에 따르면, 복잡하거나 비정상적인 환경에서 표준 GP 기반 BO에 비해 ProBO는 수렴을 위해 필요한 쿼리 수를 줄였다.
• Pyro, Stan, Tensorflow Probability 등의 다양한 PP 백본에서 ProBO가 뛰어난 성능을 보이며, 이는 그 일반성과 확장성의 확인이다.
• 전통적인 GP 기반 BO로는 다루기 어려운 복잡한 모델에 대해서도 ProBO는 효율적인 최적화를 가능하게 하여 적용 범위를 넓혔다.