[논문 리뷰] Bayesian Optimization with Gradients

Jian Wu, Matthias Poloczek외 2명|arXiv (Cornell University)|2017. 03. 13.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 95

한 줄 요약

d-KG를 도입한 derivative-enabled knowledge-gradient 획득 함수로, 그래디언트 정보를 활용해 전역 최적화를 더 효율적으로 수행하고, 빠른 비이산화(discretization-free) 계산 및 이론적 보장을 제공한다.

ABSTRACT

Bayesian optimization has been successful at global optimization of expensive-to-evaluate multimodal objective functions. However, unlike most optimization methods, Bayesian optimization typically does not use derivative information. In this paper we show how Bayesian optimization can exploit derivative information to decrease the number of objective function evaluations required for good performance. In particular, we develop a novel Bayesian optimization algorithm, the derivative-enabled knowledge-gradient (dKG), for which we show one-step Bayes-optimality, asymptotic consistency, and greater one-step value of information than is possible in the derivative-free setting. Our procedure accommodates noisy and incomplete derivative information, comes in both sequential and batch forms, and can optionally reduce the computational cost of inference through automatically selected retention of a single directional derivative. We also compute the d-KG acquisition function and its gradient using a novel fast discretization-free technique. We show d-KG provides state-of-the-art performance compared to a wide range of optimization procedures with and without gradients, on benchmarks including logistic regression, deep learning, kernel learning, and k-nearest neighbors.

연구 동기 및 목표

• 그래픽 정보를 활용하여 Bayesian 최적화 효율성을 향상시킨다.
• 노이즈가 있거나 불완전한 그래디언트를 처리하는 derivative-enabled knowledge-gradient (d-KG) 획득 함수를 개발한다.
• d-KG 계산을 빠르고 비이산화(discretization-free) 방식으로 최적화한다.
• 일-step Bayes-optimal성, VOI 증가 및 점근적 일관성의 이론적 특성을 증명한다.

제안 방법

• 목적 함수를 함수값과 그래디언트 관찰을 함께 다루는 Gaussian 프로세스로 모델링한다.
• (f(x), ∇f(x))에 대해 평균 μ̃와 커널 K̃를 갖는 다출력 GP로 확장한다.
• 배치의 도함수를 관찰한 후 최소 포스터리어 평균의 기대 감소로서의 d-KG를 정의한다.
• 일부 방향의 함수값이나 그래디언트만 관찰하거나 불완전한 도함수를 관찰할 수 있도록 한다.
• 외부 최적화를 위한 확률적 경사 상승을 가능하게 하는 d-KG의 비편향적 비이산화(discretization-free) 추정기를 제공한다.
• 다중 GP 하이퍼파라미터 샘플링에 걸쳐 d-KG를 평균화하여 하이퍼파라미터를 완전한 베이즈 처리로 통합한다.

실험 결과

연구 질문

• RQ1 도함수 정보(전체, 부분적 또는 노이즈가 있는 경우)를 Bayesian 최적화에 어떻게 통합할 수 있는가?
• RQ2 도함수 활용 지식 그래-gradient (d-KG)가 도함수 없이 사용하는 방법보다 정보 가치를 더 높게 제공하는가?
• RQ3 연속 도메인에서 비이산화 없이도 d-KG를 효율적으로 계산하고 이론적으로도 타당한가?
• RQ4 합성 벤치마크와 실세계 ML 작업(커널 학습, 로지스틱 회귀, 딥 러닝, KNN)에서 d-KG의 실험적 이점은 무엇인가?
• RQ5 순차 및 배치 설정에서의 성능은 어떠하며 방향 도함수 선택과의 관계는?

주요 결과

• d-KG는 완만한 조건하에서 도함수 없는 KG보다 한 단계 정보 가치를 더 높게 산출한다.
• 빠른 비이산화(discretization-free) 방법으로 획득 함수를 계산할 수 있어 확장 가능한 최적화가 가능하다.
• d-KG는 한 단계 Bayes-optimal이며 유한한 실현 가능 집합에서 점근적으로 일관된다.
• 합성 벤치마크와 실제 작업(커널 학습, 로지스틱 회귀, 딥 러닝, KNN)에서 d-KG의 성능이 최첨단에 도달하는 실험적 결과를 보인다.
• 지향적 도함수(노이즈 있거나 부분적이라도)를 사용하면 다수의 벤치마크에서 그래디언트 없이 접근하는 방식보다 성능이 향상된다.