[論文レビュー] Parallelizing Exploration-Exploitation Tradeoffs with Gaussian Process Bandit Optimization

Thomas Desautels, Andreas Krause+1 more|arXiv (Cornell University)|Jun 27, 2012

Advanced Bandit Algorithms Research参考文献 40被引用数 68

ひとこと要約

本稿では、ガウス過程バンディット問題における探索・活用のトレードオフを並列化するバッチベイズ最適化アルゴリズム、GP-BUCBを提案する。GP-UCBを拡張して同時に複数の実験を選択することで、累積的リグレットが逐次最適化と比較して定数倍の増加に抑えられ、理論的保証とともにより効率的な高スループット実験設計を実現する。

ABSTRACT

Can one parallelize complex exploration exploitation tradeoffs? As an example, consider the problem of optimal high-throughput experimental design, where we wish to sequentially design batches of experiments in order to simultaneously learn a surrogate function mapping stimulus to response and identify the maximum of the function. We formalize the task as a multi-armed bandit problem, where the unknown payoff function is sampled from a Gaussian process (GP), and instead of a single arm, in each round we pull a batch of several arms in parallel. We develop GP-BUCB, a principled algorithm for choosing batches, based on the GP-UCB algorithm for sequential GP optimization. We prove a surprising result; as compared to the sequential approach, the cumulative regret of the parallel algorithm only increases by a constant factor independent of the batch size B. Our results provide rigorous theoretical support for exploiting parallelism in Bayesian global optimization. We demonstrate the effectiveness of our approach on two real-world applications.

研究の動機と目的

• 複数の実験を同時に実行可能な高スループット実験設計において、効率的な探索と活用を実現する課題に対処すること。
• 複数のアーム（実験）を同時にプルするガウス過程事前分布を用いたマルチアームバンディットとして、バッチ選択問題を形式化すること。
• 理論的リグレット境界を維持しながら並列実行を可能にする整合的なアルゴリズムを開発すること。
• 実世界の実験最適化タスクにおいて、このアプローチの実用的有効性を示すこと。

提案手法

• 上位信頼区間（UCB）に基づく獲得関数を最大化するように、B個の点の集合を選択することで、GP-UCBアルゴリズムをバッチ設定に拡張する。
• 各候補点のGP後確信分布の平均と分散を用いて、上位信頼区間を構築し、高い予測値と高い不確実性の両方を重視する。
• バッチ選択は貪欲に実行され、反復的に現在のバッチにUCB値が最大の点を追加することで、多様性と探索を確保する。
• ガウス過程の性質と濃縮不等式を活用することで、理論的リグレット境界を維持する。
• 各バッチの後で獲得関数を更新し、停止基準を満たすまでプロセスを繰り返す。

実験結果

リサーチクエスチョン

• RQ1 バッチ化されたベイズ最適化は、累積的リグレットが著しく増加することなく実現可能か？
• RQ2 バッチサイズBに応じて、バッチ処理されたGPバンディットアルゴリズムのリグレットは、逐次最適化と比較してどのようにスケーリングするか？
• RQ3 整合的なバッチ選択戦略は、理論的保証を維持しながら高スループット実験を可能にするか？
• RQ4 並列処理は、ガウス過程最適化における探索・活用のトレードオフにどのような影響を与えるか？

主な発見

• GP-BUCBの累積的リグレットは、バッチサイズBに依存しない定数倍の増加に抑えられ、逐次GP-UCBと比較して顕著な増加がない。
• GP-BUCBの理論的リグレット境界は、時間Tに関してO(√(T log T))にスケーリングし、逐次GP-UCBと同一オーダーのスケーリングを示す。
• 2つの実世界応用における実験結果から、GP-BUCBは逐次的およびベースラインのバッチ手法よりも高速な収束と優れた性能を達成している。
• アルゴリズムは高スループット環境でも探索と活用のバランスを効果的に維持し、優れたサンプル効率を発揮している。