[논문 리뷰] ProBO: Versatile Bayesian Optimization Using Any Probabilistic Programming Language

Willie Neiswanger, Kirthevasan Kandasamy외 3명|arXiv (Cornell University)|2019. 01. 31.

Machine Learning and Data Classification참고 문헌 48인용 수 9

한 줄 요약

ProBO는 모델 특화 도출 없이 표준 PPL 연산을 활용해 어떤 확률적 프로그래밍 언어(PPL)에서도 베이지안 최적화를 가능하게 하며, 할당 함수를 계산하고 최적화합니다. 복잡한 환경—다중 작업, 오염된, 다중 정밀도 베이지안 최적화—에서 워프 모델 및 분지 모델과 같은 유연한 PPL 기반 모델을 통합함으로써 복잡한 경계에서 표준 GP 기반 베이지안 최적화를 능가하는 성능을 달성합니다.

ABSTRACT

Optimizing an expensive-to-query function is a common task in science and engineering, where it is beneficial to keep the number of queries to a minimum. A popular strategy is Bayesian optimization (BO), which leverages probabilistic models for this task. Most BO today uses Gaussian processes (GPs), or a few other surrogate models. However, there is a broad set of Bayesian modeling techniques that could be used to capture complex systems and reduce the number of queries in BO. Probabilistic programming languages (PPLs) are modern tools that allow for flexible model definition, prior specification, model composition, and automatic inference. In this paper, we develop ProBO, a BO procedure that uses only standard operations common to most PPLs. This allows a user to drop in a model built with an arbitrary PPL and use it directly in BO. We describe acquisition functions for ProBO, and strategies for efficiently optimizing these functions given complex models or costly inference procedures. Using existing PPLs, we implement new models to aid in a few challenging optimization settings, and demonstrate these on model hyperparameter and architecture search tasks.

연구 동기 및 목표

• 모델 특화 도출 없이 어떤 확률적 프로그래밍 언어(PPL)에 구현된 임의의 모델을 사용해 베이지안 최적화를 가능하게 하여 가우시안 프로세스와 같은 고정된 대체 모델의 한계를 극복하는 것.
• 다양한 PPL 추론 출력—예: 샘플, 변분 근사, 암시적 사후 분포—을 처리할 수 있는 일반 목적의 BO 프레임워크를 개발하여 모델 특화 도출이 필요 없도록 하는 것.
• 다중 작업, 맥락 기반, 오염된, 다중 정밀도 설정과 같은 도전적인 최적화 시나리오를 해결하기 위해 복잡한 시스템 구조를 포착하는 새로운 PPL 기반 모델을 설계하는 것.
• 복잡한 모델을 사용한 베이지안 최적화에서 할당 함수 최적화의 계산 비용을 줄이기 위해 PPL 연산을 효율적으로 캐시하고 재사용하는 것.
• 탄력적이고 PPL 기반의 대체 모델이 고비용 최적화 과제에서 필요한 쿼리 수를 크게 줄일 수 있음을 입증하는 것.

제안 방법

• ProBO는 gen, post, sample이라는 세 가지 핵심 PPL 연산을 기반으로 한 보편적 추상화를 사용하여 할당 함수를 계산함으로써, 모델 특화 도출 없이도 어떤 PPL과도 호환 가능합니다.
• 다중 정밀도 할당 함수 최적화 알고리즘(알고리즘 6)을 도입하여 post 및 gen 호출 수를 최대 3배까지 줄였으며, 고정밀도 성능을 유지했습니다.
• 구조적 모델링을 위해 ProBO는 잠재적 GP에 대해 맥락 기반 변환을 적용하는 워프 모델을 활용하여 관련 작업 또는 맥락 간의 통합 최적화를 가능하게 합니다.
• 다양한 PPL 모델의 사후 예측 밀도를 세 가지 기본 PPL 연산만을 사용해 조합함으로써 모델 앙상블을 지원합니다.
• 기대 개선도(Expected Improvement, EI) 및 상한 신뢰도(Upper Confidence Bound, UCB)와 같은 할당 함수는 PPL 추론 출력과 호환되는 미분 가능성 또는 확률적 최적화 전략을 통해 계산하고 최적화합니다.
• 중간 PPL 추론 결과를 캐시하여 중복 계산을 방지함으로써, 비용이 많이 들더라도 효율적인 최적화를 가능하게 합니다.

실험 결과

연구 질문

• RQ1 모델 특화 할당 함수 도출 없이도 어떤 확률적 프로그래밍 언어 모델에서도 베이지안 최적화를 일반화할 수 있는가?
• RQ2 후행 분포가 샘플, 변분 근사, 또는 PPL에서 유도된 암시적 모델로 표현될 경우, 할당 함수를 어떻게 효율적으로 계산하고 최적화할 수 있는가?
• RQ3 워프 모델이나 분지 모델과 같은 PPL 기반 모델이 표준 가우시안 프로세스 모델에 비해 복잡하고 비정상적이거나 다중 정밀도 설정에서 최적화 성능을 향상시킬 수 있는가?
• RQ4 다중 정밀도 할당 함수 최적화는 최적화 성능을 유지하면서 얼마나 많은 비용이 많이 드는 PPL 추론 호출 수를 줄일 수 있는가?
• RQ5 PPL 연산을 통한 모델 앙상블은 불확실성 또는 부분 정보가 존재하는 베이지안 최적화에서 정확성과 강건성을 향상시킬 수 있는가?

주요 결과

• 기울기와 비정상성이 높은 경계에서 GPs가 국소적 피팅이 열악하여 어려움을 겪는 상황에서, 분지 모델을 사용한 ProBO는 고정점 식별에서 표준 GP 기반 베이지안 최적화를 능가했습니다.
• 구조적 다중 작업 최적화에서 워프 모델은 관련 작업 간의 통합 최적화를 가능하게 하여 독립적 GP나 고정 정밀도 기반 기준보다 뛰어난 성능을 달성했습니다.
• 다중 정밀도 할당 함수(a_MF)는 고정밀도 할당 함수 대비 post 및 gen 호출 수를 3배 줄였으며, 합성 및 신경망 하이퍼파ram터 최적화 과제에서 동일한 성능을 유지했습니다.
• PPL 기반 앙상블 모델을 사용한 ProBO는 측정 오차나 노이즈가 있는 환경에서 측면 정보와 다수의 데이터 소스를 성공적으로 통합하여 강건성을 향상시켰습니다.
• 하이퍼파ram터 및 아키텍처 탐색 과제에 대한 실증 결과는 ProBO에 통합된 PPL 기반 모델이 표준 GP 기반 베이지안 최적화보다 더 빠른 수렴과 더 나은 최종 목표값을 달성함을 보여주었습니다.
• 시스템의 보편적 PPL 연산에 의존함으로써, Pyro, Stan, Tensorflow Probability와 같은 기존 PPL의 모델들을 커스터마이제이션 없이도 원활하게 통합할 수 있었습니다.