[논문 리뷰] Efficient nonmyopic Bayesian optimization and quadrature.

Shali Jiang, Henry Chai외 2명|arXiv (Cornell University)|2019. 09. 10.

Machine Learning and Algorithms참고 문헌 34인용 수 5

한 줄 요약

이 논문은 비미래주의적 베이지안 최적화 및 적분 프레임워크를 제안하여, 최적의 배치 포인트를 계산하고 그 안에서 하나의 포인트를 선택함으로써, 한 단계씩만 고려하는 미래주의 방법의 열악한 트레이드오프를 피함으로써 의사결정을 향상시킨다. 이 방법은 베이지안 최적화 및 적분 작업 전반에서 표준 한 단계 앞선 근사치보다 뛰어난 성능을 달성한다.

ABSTRACT

Finite-horizon sequential decision problems arise naturally in many machine learning contexts; examples include Bayesian optimization and Bayesian quadrature. Computing the optimal policy for such problems requires solving Bellman equations, which are generally intractable. Most existing work resorts to myopic approximations by limiting the horizon to only a single time-step, which can perform poorly in balancing exploration and exploitation. We propose a general framework for efficient, nonmyopic approximation of the optimal policy by drawing a connection between the optimal adaptive policy and its non-adaptive counterpart. Our proposal is to compute an optimal batch of points, then select a single point from within this batch to evaluate. We realize this idea for both Bayesian optimization and Bayesian quadrature and demonstrate that our proposed method significantly outperforms common myopic alternatives on a variety of tasks.

연구 동기 및 목표

• 한 단계씩만 고려하는 미래주의 정책의 한계를 해결하기 위해, 의사결정을 단일 시간 단계로 제한하고 탐색과 이용을 균형 있게 유지하지 못하는 문제를 해결한다.
• 유한 수명의 의사결정 문제에서 최적 정책의 비미래주의 근사를 위한 일반적인 프레임워크를 개발한다. 특히 베이지안 최적화 및 베이지안 적분에 초점을 맞춘다.
• 최적의 배치 포인트의 구조를 활용하여 적응형 정책과 비적응형 정책 사이의 격차를 메운다.
• 비틀림 없는 계산 없이 더 긴 수명 주기 계획을 가능하게 함으로써, 베이지안 최적화 및 적분에서 샘플 효율성과 수렴 속도를 향상시킨다.

제안 방법

• 이 방법은 먼저 유한 수명 주기 동안 기대 정보 수익을 최대화하는 최적의 포인트 배치를 식별함으로써 비미래주의 정책을 수립한다.
• 그 후, 기대 효용과 불확실성의 균형을 고려한 선택 기준에 따라 이 배치에서 하나의 포인트를 선택한다.
• 최적의 적응형 정책과 그 비적응형 대응체 사이의 이론적 연결 고리를 설정함으로써, 배치 최적화를 통한 계산 가능 근사를 가능하게 한다.
• 베이지안 최적화에서는, 배치에서 기대 개선도나 엔트로피 감소를 최대화하는 포인트를 선택한 후 단일 평가를 수행한다.
• 베이지안 적분에서는 기대 통합 오차를 최소화하는 배치 포인트를 계산한 후, 하나의 포인트를 평가 대상으로 선정한다.
• 비틀림 없는 벨만 방정식을 해결하지 않고도 최적 정책을 배치 계산과 선택적 평가를 통해 근사함으로써, 계산의 비용을 피한다.

실험 결과

연구 질문

• RQ1 비틀림 없는 벨만 방정식을 풀지 않고도, 베이지안 최적화 및 적분에서 비미래주의 정책을 효율적으로 근사할 수 있는가?
• RQ2 최적의 배치에서 하나의 포인트를 선택하는 것이 한 단계 앞선 선택에 비해 샘플 효율성과 수렴 속도 측면에서 어떻게 더 낫게 작용하는가?
• RQ3 배치 기반 계획 수립이 순차적 의사결정 문제에서 탐색과 이용의 균형을 어떻게 영향을 미치는가?
• RQ4 적응형 정책과 비적응형 정책 간의 관계를 활용하여 확장 가능한 비미래주의 방법을 설계할 수 있는가?
• RQ5 제안된 방법이 다양한 최적화 및 통합 작업에서 표준 미래주의 기준보다 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 베이지안 최적화 및 베이지안 적분 작업 전반에서 일반적인 미래주의 대안보다 뚜렷이 뛰어난 성능을 보였다.
• 배치 최적화와 선택적 포인트 평가를 활용함으로써, 한 단계 앞선 정책보다 더 빠른 수렴 속도와 높은 샘플 효율성을 달성했다.
• 비용이 지나치게 높지 않은 계산 비용으로도 더 긴 수명 주기 효과를 고려함으로써 탐색과 이용을 효과적으로 균형 잡았다.
• 실증 결과는 다양한 벤치마크 작업에서 일관된 향상이 있었음을 입증하며, 비미래주의적 배치 선택 전략의 효과성을 검증했다.
• 특히 고차원 또는 노이즈가 많은 환경에서 표준 베이지안 최적화 및 적분 벤치마크에서 최첨단 성능을 달성했다.