[論文レビュー] Exploiting correlation and budget constraints in Bayesian multi-armed bandit optimization

Matthew W. Hoffman, Bobak Shahriari+1 more|arXiv (Cornell University)|Mar 27, 2013

Advanced Bandit Algorithms Research参考文献 36被引用数 11

ひとこと要約

本稿では、関数評価が高価で限られた条件下での最適な設定（最良の腕）を特定するためのベイジアン多腕バンディット手法を提案する。この手法は、ガウス過程を用いて腕の間の相関関係をモデル化することで、特に自動機械学習において、腕の数が評価予算を上回る高次元・低予算最適化環境で、頻度主義的手法が適用不能となる状況において優れた性能を発揮する。

ABSTRACT

We address the problem of finding the maximizer of a nonlinear smooth function, that can only be evaluated point-wise, subject to constraints on the number of permitted function evaluations. This problem is also known as fixed-budget best arm identification in the multi-armed bandit literature. We introduce a Bayesian approach for this problem and show that it empirically outperforms both the existing frequentist counterpart and other Bayesian optimization methods. The Bayesian approach places emphasis on detailed modelling, including the modelling of correlations among the arms. As a result, it can perform well in situations where the number of arms is much larger than the number of allowed function evaluation, whereas the frequentist counterpart is inapplicable. This feature enables us to develop and deploy practical applications, such as automatic machine learning toolboxes. The paper presents comprehensive comparisons of the proposed approach, Thompson sampling, classical Bayesian optimization techniques, more recent Bayesian bandit approaches, and state-of-the-art best arm identification methods. This is the first comparison of many of these methods in the literature and allows us to examine the relative merits of their different features.

研究の動機と目的

• 関数評価が高価で限られた予算内での最適な設定（最良の腕）を特定する課題に対処すること。
• 腕の数が予算を上回る場合には、すべての腕をサンプリングする必要があるため、腕の数が予算を上回る場合には失敗する、UGapのような頻度主義的手法の限界を克服すること。
• 腕の間の相関関係を明示的にモデル化することで、限られた評価回数内でのサンプル効率と推薦精度を向上させるベイジアンフレームワークの構築。
• 自動機械学習のような実世界の応用分野への実用的導入を可能とすること。特に、クロスバリデーションの試行回数に制限がある中でのハイパーパramータチューニングを想定。
• ベイジアン手法が頻度主義的手法と同等の理論的保証を達成しつつ、高次元・低予算な状況において優れた実験的性能を示すことを実証すること。

提案手法

• 異なる設定間の相関関係を捉えるために、平方指数カーネルを用いたガウス過程を用いて、腕全体における報酬関数をモデル化する。
• 事前知識と観測データを統合することで、真の関数値に関する信念を更新するベイジアン事後分布を用い、不確実性の推定値を精緻化する。
• スコアのサンプリングに基づいて確率的に行動を選択するトマソンサンプリングを用い、探索と活用のトレードオフを制御する。
• 累積リグレットを最小化するのではなく、予算終了時に真の最良の腕を選択する確率を最適化する、新しい獲得戦略「BayesGap」を統合する。
• 腕間のカーネル化された相関関係から構築された設計行列を用い、各腕の事後平均および分散を計算することで、不確実性下での情報に基づいた選択を可能にする。
• 各腕のプルごとに10%の訓練データおよび10%の検証データを用いたクロスバリデーションを実施し、各モデル設定を1つの腕として扱い、汎化誤差の代理指標としてRMSEを用いる。

実験結果

リサーチクエスチョン

• RQ1 腕の数が評価予算を上回る状況において、腕の相関関係をモデル化するベイジアンアプローチが、頻度主義的手法（例：UGap）を上回る性能を発揮できるか？
• RQ2 予算制約下での最終的推薦品質という観点から、トマソンサンプリングおよびBayesGapは、古典的なベイジアン最適化（例：期待改善）と比較して、どのように性能を発揮するか？
• RQ3 腕間の相関関係をモデル化することで、高次元探索空間におけるサンプル効率の向上と、局所最適解への収束リスクの低減がどの程度達成できるか？
• RQ4 ベイジアン手法が、頻度主義的手法（例：Gabillon et al., 2012）と同等の理論的性能保証を達成しつつ、優れた実験的結果を示せるか？
• RQ5 自動機械学習の文脈において、固定されたクロスバリデーション回数に制限された条件下で、提案手法が既存のバンディット手法や最適化手法を上回るハイパーパramータ設定を生成できるか？

主な発見

• BayesGapおよびトマソンサンプリングは、期待改善（EI）、改善確率（PI）、GP-UCBに比べ、特に予算が小さい（T=10）かつ腕の数が多い（160モデル）状況において、最終的な推薦品質で顕著に優れている。
• EIおよびPIは頻繁に局所最適解に陥る（例：一般化誤差が著しく悪いrbfSVMを繰り返し選択）が、BayesGapおよびトマソンサンプリングはより効果的に探索を行い、非最適な収束を回避する。
• 固定予算T=10の評価回数において、BayesGapおよびトマソンサンプリングは他の手法と比較してワインデータセットにおける中央値RMSEが低く、より優れた最終的なモデル選択性能を示している。
• 腕の数（160）が許可された評価回数（T=10）を著しく上回る状況でも、本手法は有効に機能する。これは、頻度主義的手法（例：UGap）がすべての腕をサンプリングする必要があるため、このような状況では適用不能となるためである。
• トマソンサンプリングは、内在的な確率的ランダム化のおかげでより均一な探索を示すが、BayesGapは最終的推薦品質を最適化するという的を射た戦略により、グローバル最適解への収束がより良好である。
• ベイジアンアプローチは、頻度主義的手法（UGap）と同等の理論的性能バインディングを達成しており、相関関係のモデル化と整合性のある事前分布の導入により、理論的・実験的両面で優れた結果をもたらすことが示された。