[논문 리뷰] Bayesian Optimization with Binary Auxiliary Information

Yehong Zhang, Zhongxiang Dai외 1명|arXiv (Cornell University)|2019. 06. 17.

Gaussian Processes and Bayesian Inference참고 문헌 28인용 수 8

한 줄 요약

이 논문은 하이퍼파ram터 튜닝에서의 조기 정지 결정이나 강화 학습에서의 성공/실패 결과와 같은 상관관계가 있는 저비용 이진 보조 정보를 활용하여 연속 목표 함수 최적화를 가속화하는 혼합형 베이지안 최적화 알고리즘 MT-ES와 MT-PES를 제안한다. 새로운 무작위 특징 근사화를 적용한 혼합형 다중출력 가우시안 프로세스를 도입함으로써 연속 목표값과 이진 보조 정보 간의 상관관계를 효율적으로 모델링하여 기존 최상위 수준의 방법보다 더 빠른 수렴을 가능하게 한다.

ABSTRACT

This paper presents novel mixed-type Bayesian optimization (BO) algorithms to accelerate the optimization of a target objective function by exploiting correlated auxiliary information of binary type that can be more cheaply obtained, such as in policy search for reinforcement learning and hyperparameter tuning of machine learning models with early stopping. To achieve this, we first propose a mixed-type multi-output Gaussian process (MOGP) to jointly model the continuous target function and binary auxiliary functions. Then, we propose information-based acquisition functions such as mixed-type entropy search (MT-ES) and mixed-type predictive ES (MT-PES) for mixed-type BO based on the MOGP predictive belief of the target and auxiliary functions. The exact acquisition functions of MT-ES and MT-PES cannot be computed in closed form and need to be approximated. We derive an efficient approximation of MT-PES via a novel mixed-type random features approximation of the MOGP model whose cross-correlation structure between the target and auxiliary functions can be exploited for improving the belief of the global target maximizer using observations from evaluating these functions. We propose new practical constraints to relate the global target maximizer to the binary auxiliary functions. We empirically evaluate the performance of MT-ES and MT-PES with synthetic and real-world experiments.

연구 동기 및 목표

• 비용이 많이 드는 연속 목표 함수 최적화를 더 저렴하고 관련성이 있는 이진 보조 정보를 통합하여 가속화하는 것.
• 기존 다중 신뢰도 베이지안 최적화 방법이 연속 보조 함수에 의존하여 이진 출력을 처리할 수 없는 한계를 해결하는 것.
• 연속 및 이진 보조 신호를 효과적으로 활용하는 정보 기반의 획득 함수인 MT-ES와 MT-PES를 개발하는 것.
• 공유된 잠재 구조를 가진 연속 목표값과 이진 보조 정보를 함께 모델링하는 혼합형 다중출력 가우시안 프로세스 모델을 설계하는 것.
• 연속 목표값과 보조 함수 간의 상관관계를 유지하면서도 효율적인 근사화를 가능하게 하는 새로운 혼합형 무작위 특징 접근법을 통해 MT-PES의 근사화를 도출하는 것.

제안 방법

• 공유된 잠재 과정을 사용하여 연속 목표 함수와 하나 이상의 이진 보조 함수를 함께 모델링하는 혼합형 다중출력 가우시안 프로세스(MOGP)를 제안한다.
• 전역 최대화자를 탐색하는 데 도움이 되는 정보 기반 획득 함수인 혼합형 엔트로피 서치(MT-ES)와 혼합형 예측 엔트로피 서치(MT-PES)를 도입한다.
• 목표 함수와 보조 함수 간의 상관관계를 활용하여 MT-PES 획득 함수의 효율적 계산을 가능하게 하는 새로운 혼합형 무작위 특징 근사화를 개발한다.
• 전역 목표 최대화자와 이진 보조 함수 간의 실용적 제약 조건을 도입하여 효과적인 신뢰도 갱신과 효율적인 최적화를 가능하게 한다.
• 목표 함수와 보조 함수 양쪽의 불확실성을 모델링하기 위해 확률적 프레임워크를 사용하여 유망한 영역을 능동적으로 탐색할 수 있도록 한다.
• 이중 목표 함수와 이진 결과에 대한 GP 신뢰도를 사용하며, 비가우시안 이탈리크의 처리를 위해 변분 근사화를 통해 추론을 수행한다.

실험 결과

연구 질문

• RQ1 이진 보조 정보는 고비용 연속 목표 함수 최적화를 상당히 가속화할 수 있는가?
• RQ2 연속 목표값과 이진 보조 정보 간의 상관관계를 공동 확률 프레임워크 내에서 효과적으로 모델링하고 활용할 수 있는가?
• RQ3 혼합형 출력이 존재하는 상황에서 MT-ES 및 MT-PES와 같은 정보 기반 획득 함수를 효율적으로 근사화할 수 있는가?
• RQ4 제안된 방법은 연속 보조 함수에 의존하는 기존의 다중 신뢰도 베이지안 최적화 알고리즘과 비교해 어떻게 성능을 냅니다?
• RQ5 제안된 혼합형 무작위 특징 근사화의 성능 및 확장성에 미치는 영향은 무엇인가?

주요 결과

• MT-PES는 하이퍼파ram터 튜닝 및 강화 학습 정책 탐색 과제에서 MF-GP-UCB를 포함한 최상위 수준의 BO 알고리즘보다 뛰어난 성능을 보였다.
• 단지 1시간의 월클록 타임 동안에도 MT-PES는 기본 하이퍼파ram터 설정으로 달성된 기준보다 더 높은 검증 정확도를 확보했다.
• MT-ES와 MT-PES는 다른 테스트된 알고리즘보다 더 빠른 수렴을 보였으며, 특히 합성 및 실제 실험에서 MT-PES가 뛰어난 수렴 속도를 보였다.
• 조기 정지 기반의 이진 보조 정보 사용은 연속 보조 함수 대비 평가 비용을 크게 감소시켜 더 빠른 최적화를 가능하게 했다.
• 제안된 혼합형 무작위 특징 근사화 덕분에 효율적이고 정확한 신뢰도 갱신이 가능해져 MT-PES의 계산 가능성을 확보했다.
• 실험 결과, 제안된 방법은 더 적은 함수 평가 횟수로도 개선 비율(IR)과 성공률 측면에서 더 뛰어난 성능을 달성했다.