[논문 리뷰] Exploiting gradients and Hessians in Bayesian optimization and Bayesian quadrature

Anqi Wu, Mikio Aoi외 1명|arXiv (Cornell University)|2017. 03. 31.

Gaussian Processes and Bayesian Inference참고 문헌 10인용 수 22

한 줄 요약

이 논문은 기존의 베이지안 최적화(Bayesian optimization, BO) 및 베이지안 적분(Bayesian quadrature, BQ) 프레임워크를 개선하기 위해 함수 값, 도함수, 헤시안을 고려한 새로운 접근법을 제안한다. 이는 가우시안 프로세스(Gaussian process, GP) 모델 내에서 수렴 속도를 향상시키고 불확실성을 감소시키는 데 기여한다. 고차 도함수로 인한 불량 조건 문제를 해결하기 위해 입력 재스케일링과 스펙트럼 표현을 도입함으로써, 하이퍼파rameter 학습 속도가 빨라지고 표준 GP 기반 BO 및 BQ보다 뛰어난 성능을 발휘한다. 이는 인과적 우도 최적화를 포함한 시뮬레이션 및 실제 문제에서의 경험적 성과로 입증된다.

ABSTRACT

An exciting branch of machine learning research focuses on methods for learning, optimizing, and integrating unknown functions that are difficult or costly to evaluate. A popular Bayesian approach to this problem uses a Gaussian process (GP) to construct a posterior distribution over the function of interest given a set of observed measurements, and selects new points to evaluate using the statistics of this posterior. Here we extend these methods to exploit derivative information from the unknown function. We describe methods for Bayesian optimization (BO) and Bayesian quadrature (BQ) in settings where first and second derivatives may be evaluated along with the function itself. We perform sampling-based inference in order to incorporate uncertainty over hyperparameters, and show that both hyperparameter and function uncertainty decrease much more rapidly when using derivative information. Moreover, we introduce techniques for overcoming ill-conditioning issues that have plagued earlier methods for gradient-enhanced Gaussian processes and kriging. We illustrate the efficacy of these methods using applications to real and simulated Bayesian optimization and quadrature problems, and show that exploting derivatives can provide substantial gains over standard methods.

연구 동기 및 목표

• 1차 및 2차 도함수를 GP 기반 베이지안 최적화 및 적분에 효과적으로 통합하기 위한 확장 가능하고 수치적으로 안정된 방법을 개발하는 것.
• 특히 헤시안 정보가 포함될 경우 발생하는 도함수 강화 GP에서 오랫동안 지속된 불량 조건 문제를 해결하는 것.
• 도함수 정보를 활용하여 BO 및 BQ의 불확실성 정량화와 수렴 속도를 향상시키는 것.
• 비용이 많이 들지만 평가가 어려운 함수에 대해 고차 도함수의 실용적 사용을 가능하게 하는 것.
• 이론적 분석과 함께 시뮬레이션 및 실제 문제에서의 효과성을 입증하는 것, 특히 인과적 우도 최적화를 포함하여

제안 방법

• 정확한 사후 분포를 근사하기 위한 임의의 정밀도를 갖는 GP 커널의 스펙트럼 표현을 도입하여, 도함수 관측치가 있는 경우에도 정확한 사후 분포 근사가 가능하도록 한다.
• 기울기 및 헤시안을 포함할 경우 공분산 행렬의 수치적 조건을 향상시키기 위해 입력 재스케일링을 적용한다.
• 하이퍼파rameter에 대한 샘플링 기반 추론을 통해 불확실성을 전파시키며, 도함수 데이터를 안정적으로 사후 분포 갱신에 활용한다.
• BQ에서 두 가지 활성 샘플링 전략을 사용한다: 적분의 사후 분산 최소화 및 적분 가중 함수의 불확실성 최대화.
• 스펙트럼 도메인에서 사후 평균 및 분산에 대한 닫힌 형태의 표현식을 유도하여, 활성 학습을 위한 효율적인 불확실성 계산을 가능하게 한다.
• 기존의 단조성 등의 제한적인 가정에 의존하는 연구를 일반화하기 위해, 도함수 강화 GP의 이중 공간 유도를 구현한다.

실험 결과

연구 질문

• RQ1 GP 기반 베이지안 최적화에 도함수와 헤시안을 통합할 경우, 기존 방법 대비 수렴 속도 향상과 불확실성 감소가 뚜렷하게 이루어지는가?
• RQ2 특히 헤시안 관측치가 포함될 경우 발생하는 도함수 강화 GP의 불량 조건 문제를 실용적으로 효과적으로 완화할 수 있는가?
• RQ3 도함수 정보의 활용이 GP 모델에서 인과적 우도 추정의 속도와 정확도를 향상시키는가?
• RQ4 스펙트럼 표현과 입력 재스케일링이 함께 작용하여 정확도와 안정성을 확보하면서도 정확한 GP 추론의 실용적 대안이 될 수 있는가?
• RQ5 도함수 정보가 제공될 경우, 베이지안 적분에서 다양한 활성 샘플링 전략의 성능은 어떻게 다른가?

주요 결과

• 기울기와 헤시안을 포함시킴으로써, 표준 GP 기반 방법 대비 함수 불확실성과 하이퍼파rameter 불확실성의 감소 속도가 크게 향상된다.
• 제안된 GP 커널의 스펙트럼 표현은 고차 도함수 데이터가 있는 경우에도 정확한 사후 분포를 임의의 정밀도로 근사할 수 있다.
• 입력 재스케일링은 이전까지 헤시안 정보의 실용적 사용을 막아왔던 불량 조건 문제를 효과적으로 완화한다.
• 베이지안 적분에서 도함수 강화 방법(GPBQhess)은 표준 GPBQ보다 진짜 적분값으로 더 빨리 수렴하며 평균 오차가 낮다.
• 적분 가중 함수의 불확실성(식 28)을 기반으로 한 활성 샘플링은 강력한 수렴 성능을 유지하면서도 상당한 계산 자원 절감을 가능하게 한다.
• 단모달 및 다모달 최적화 과제, 실제 인과적 우도 최적화 과제 모두에서 베이지안 최적화 및 적분에서 뛰어난 성능을 보이며, 기준 방법 대비 수렴 속도와 정확도에서 슈퍼리어한 성능을 발휘한다.