[논문 리뷰] Parallelizing Exploration-Exploitation Tradeoffs with Gaussian Process Bandit Optimization

Thomas Desautels, Andreas Krause외 1명|arXiv (Cornell University)|2012. 06. 27.

Advanced Bandit Algorithms Research참고 문헌 40인용 수 68

한 줄 요약

이 논문은 가우시안 프로세스 밴딧 문제에서 탐색-이용 균형을 병렬화하는 배치 베이지안 최적화 알고리즘인 GP-BUCB를 제안한다. GP-UCB를 확장하여 동시에 여러 실험을 선택함으로써, 누적 누적 손실이 순차적 최적화 대비 상수 인자만 증가함으로써, 이론적 보장을 갖춘 효율적인 고속 실험 설계를 가능하게 한다.

ABSTRACT

Can one parallelize complex exploration exploitation tradeoffs? As an example, consider the problem of optimal high-throughput experimental design, where we wish to sequentially design batches of experiments in order to simultaneously learn a surrogate function mapping stimulus to response and identify the maximum of the function. We formalize the task as a multi-armed bandit problem, where the unknown payoff function is sampled from a Gaussian process (GP), and instead of a single arm, in each round we pull a batch of several arms in parallel. We develop GP-BUCB, a principled algorithm for choosing batches, based on the GP-UCB algorithm for sequential GP optimization. We prove a surprising result; as compared to the sequential approach, the cumulative regret of the parallel algorithm only increases by a constant factor independent of the batch size B. Our results provide rigorous theoretical support for exploiting parallelism in Bayesian global optimization. We demonstrate the effectiveness of our approach on two real-world applications.

연구 동기 및 목표

• 병렬로 실행 가능한 다수의 실험을 허용하는 고속 실험 설계에서 효율적인 탐색과 이용을 다루는 데 목적이 있다.
• 다수의 암호(실험)를 동시에 뽑는 다중 손잡이 밴딧 문제로 배치 선택 문제를 수식화하며, 가우시안 프로세스 사전분포를 적용한다.
• 이론적 손실 경계를 유지하면서도 병렬 실행을 가능하게 하는 체계적인 알고리즘을 개발하는 데 목적이 있다.
• 실세계 실험 최적화 과제에서 이 방법의 실용적 효과성을 입증하는 데 목적이 있다.

제안 방법

• 선택된 B개의 점이 상한 신뢰구간 기반의 획득 함수를 최대화하도록 함으로써, GP-UCB 알고리즘을 배치 설정으로 확장한다.
• 각 후보 점에 대해 GP 사후 평균과 분산을 사용하여 상한 신뢰구간을 구성하며, 높은 예측값과 높은 불확실성을 동시에 선호한다.
• 배치 선택은 탐색과 다양성을 보장하기 위해 그리디하게 수행되며, 각 반복에서 UCB 값이 가장 높은 점을 현재 배치에 추가한다.
• 농도 불등식과 가우시안 프로세스의 성질을 활용하여 이론적 손실 경계를 유지한다.
• 각 배치 후 획득 함수를 갱신하고, 정지 기준에 도달할 때까지 반복한다.

실험 결과

연구 질문

• RQ1 누적 손실이 크게 증가하지 않도록 베이지안 최적화의 병렬화가 가능할 수 있는가?
• RQ2 배치 크기 B에 비해 순차적 최적화 대비 배치 처리된 GP 밴딧 알고리즘의 손실은 어떻게 변화하는가?
• RQ3 체계적인 배치 선택 전략은 고속 실험을 가능하게 하면서도 이론적 보장을 유지할 수 있는가?
• RQ4 병렬 처리는 가우시안 프로세스 최적화에서 탐색-이용 균형에 어떤 영향을 미치는가?

주요 결과

• GP-BUCB의 누적 손실은 순차적 GP-UCB 알고리즘과 비교해 배치 크기 B에 관계없이 상수 인자만 증가한다.
• GP-BUCB의 이론적 손실 경계는 시간 T에 대해 O(√(T log T))로 스케일링되며, 순차적 GP-UCB와 같은 주요 순서를 갖는다.
• 두 가지 실세계 응용 사례에서의 실험 결과는 GP-BUCB가 순차적 및 기준 배치 방법보다 더 빠른 수렴과 향상된 성능을 달성함을 보여준다.
• 알고리즘은 고속 환경에서 탐색과 이용을 효과적으로 균형 잡으며 뛰어난 샘플 효율성을 유지한다.