[논문 리뷰] A sequential Monte Carlo approach to Thompson sampling for Bayesian optimization

Hildo Bijl, Thomas B. Schön외 2명|arXiv (Cornell University)|2016. 04. 01.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 13

한 줄 요약

이 논문은 연속 입력 공간에서 베이지안 최적화를 위한 톰슨 샘플링을 가능하게 하기 위해 가우시안 과정의 최대값 분포를 근사하는 순차적 몽테카를로 기반 알고리즘을 제안한다. 비선형 할당 함수 최적화가 필요하지 않으며, 누적 누적 손실 성능이 경쟁력 있음을 보여주어 풍력 터빈 컨트롤러와 같은 복잡한 시스템의 온라인, 데이터 기반 캘리브레이션에 효과적임.

ABSTRACT

Bayesian optimization through Gaussian process regression is an effective method of optimizing an unknown function for which every measurement is expensive. It approximates the objective function and then recommends a new measurement point to try out. This recommendation is usually selected by optimizing a given acquisition function. After a sufficient number of measurements, a recommendation about the maximum is made. However, a key realization is that the maximum of a Gaussian process is not a deterministic point, but a random variable with a distribution of its own. This distribution cannot be calculated analytically. Our main contribution is an algorithm, inspired by sequential Monte Carlo samplers, that approximates this maximum distribution. Subsequently, by taking samples from this distribution, we enable Thompson sampling to be applied to (armed-bandit) optimization problems with a continuous input space. All this is done without requiring the optimization of a nonlinear acquisition function. Experiments have shown that the resulting optimization method has a competitive performance at keeping the cumulative regret limited.

연구 동기 및 목표

• 기존 할당 함수 최적화가 계산적으로 비용이 많이 들기 때문에 연속 입력 공간에서의 베이지안 최적화 문제를 해결하기 위해.
• 해석적으로 다루기 어려운 가우시안 과정의 최대값 분포를 근사하는 방법을 개발하기 위해.
• 최대값 분포에서 샘플링을 통해 연속 무기 밴드잇 문제에서 톰슨 샘플링을 가능하게 하기 위해.
• 비용이 많이 들고 노이즈가 많은 함수를 위한 손실 최소화 최적화 프레임워크를 제공하기 위해 실세계 응용 분야(예: 컨트롤러 캘리브레이션)에 적합하게.
• 누적 손실 측면에서 기존의 베이지안 최적화 방법들과 비교해 경쟁 가능한 성능을 보여주기 위해.

제안 방법

• 이 방법은 입력 공간에서 가우시안 과정의 최대값 분포를 근사하기 위해 순차적 몽테카를로(SMC) 샘플링을 사용한다.
• 관측된 노이즈가 있는 함수 평가 기반으로 후행 분포의 함수 최대값을 표현하기 위해 입자들이 반복적으로 전파되고 재표본화된다.
• 최종로 생성된 입자 근사는 최대값 분포에서 무작위로 샘플링하여 다음 평가 지점을 선택할 수 있도록 해, 톰슨 샘플링을 가능하게 한다.
• 직접적으로 최대값 분포에서 샘플링함으로써 예측 개선도나 개선 가능성 등의 비선형 할당 함수 최적화가 필요 없어진다.
• 각 새로운 관측치가 가우시안 과정의 후행 분포와 SMC 근사를 업데이트하는 베이지안 최적화 루프에 알고리즘이 통합된다.
• 성능 평가는 풍력 터빈 컨트롤러 캘리브레이션 문제를 통해 측정되며, 다수의 최적화 런에서 누적 손실을 기반으로 평가된다.

실험 결과

연구 질문

• RQ1 연속 입력 공간에서 해석적으로 다루기 어려운 가우시안 과정의 최대값 분포를 순차적 몽테카를로 접근법이 효과적으로 근사할 수 있는가?
• RQ2 이 입자 기반 최대값 분포 근사법을 사용하여 연속 무기 밴드잇 문제에 톰슨 샘플링을 효과적으로 적용할 수 있는가?
• RQ3 기존의 베이지안 최적화 기법들과 비교해 제안된 방법이 경쟁 가능한 누적 손실 성능을 달성하는가?
• RQ4 비선형 할당 함수 최적화의 계산 부담을 피하면서도 강력한 최적화 성능를 유지할 수 있는가?
• RQ5 실세계에서 높은 비용이 드는 최적화 시나리오(예: 풍력 터빈 컨트롤러 캘리브레이션)에서 이 방법은 어떻게 성능을 보이는가?

주요 결과

• 제안된 몽테카를로 최대값 분포(MCMD) 알고리즘이 순차적 몽테카를로 샘플링을 통해 가우시안 과정의 최대값 분포를 효과적으로 근사함.
• 비선형 할당 함수 최적화가 필요 없이 연속 입력 공간에서 톰슨 샘플링을 가능하게 하여 다음 평가 지점 선택을 단순화함.
• 풍력 터빈 컨트롤러 캘리브레이션 실험에서, 최첨단 베이지안 최적화 알고리즘과 비교해 경쟁 가능한 수준의 누적 손실을 달성함.
• 50회의 독립 런 전반에서 알고리즘이 안정적인 성능을 보이며 시간이 지남에 따라 지속적인 손실 최소화를 달성함.
• 노이즈가 많고 고차원적이며 평가 비용이 큰 최적화 문제에서 최대값 분포의 입자 기반 근사는 효과적임.
• 결과적으로 MCMD를 사용한 톰슨 샘플링은 높은 불확실성과 높은 평가 비용이 수반되는 시스템에서 온라인, 데이터 기반 최적화의 실현 가능하고 효율적인 대안임을 시사함.