[論文レビュー] Optimization as Estimation with Gaussian Processes in Bandit Settings

Zi Wang, Bolei Zhou+1 more|arXiv (Cornell University)|Oct 21, 2015

Gaussian Processes and Bayesian Inference被引用数 14

ひとこと要約

本論文は、未知関数のargmaxをガウス過程を用いて直接推定するベイジアン最適化手法を提案し、探索と活用のトレードオフパラメータの手動チューニングを不要にする。このアプローチは、推定されたargmaxに基づいて次の評価点を選択することで、探索と活用を適応的にバランスさせ、ハイパーパramータチューニングなしでロボット工学およびビジョンタスクにおいて競争力のあるレグレットバウンドと頑健なパフォーマンスを達成する。

ABSTRACT

Recently, there has been rising interest in Bayesian optimization -- the optimization of an unknown function with assumptions usually expressed by a Gaussian Process (GP) prior. We study an optimization strategy that directly uses an estimate of the argmax of the function. This strategy offers both practical and theoretical advantages: no tradeoff parameter needs to be selected, and, moreover, we establish close connections to the popular GP-UCB and GP-PI strategies. Our approach can be understood as automatically and adaptively trading off exploration and exploitation in GP-UCB and GP-PI. We illustrate the effects of this adaptive tuning via bounds on the regret as well as an extensive empirical evaluation on robotics and vision tasks, demonstrating the robustness of this strategy for a range of performance criteria.

研究の動機と目的

• 探索と活用のパラメータの手動チューニングを回避する実用的で理論的根拠を持つベイジアン最適化戦略の開発。
• 提案手法とGP-UCBやGP-PIなどの既存手法との理論的関連の確立。
• ロボット工学およびコンピュータビジョン分野における多様な実世界の最適化問題において頑健なパフォーマンスの実証。
• 累積レグレット目的における推定ベース戦略のレグレットバウンドの確立。
• ユーザーの干渉なしにGP-UCBおよびGP-PIのパラメータを自動的かつ適応的にチューニングできることの示唆。

提案手法

• 手法は、ガウス過程モデルからの事後平均および分散を用いて、未知関数のargmaxを推定する。
• 次の評価点は、真のargmaxである確率が最大となる入力を選択することで決定される。
• 離散化された入力空間とリプシッツ連続性の仮定に基づいて、最大関数値の保守的な上界を導出する。
• 推定されたargmaxに基づいて獲得関数を定式化し、次に評価する点を選択する。
• 事後分布を活用して、特定の点が最大化者である確率を計算することで、適応的な探索が可能になる。
• 推定された最大値が真の最大値の上界を保証するようにすることで、理論的レグレットバウンドを維持する。

実験結果

リサーチクエスチョン

• RQ1 手動によるパrameterチューニングを必要とせずに、探索と活用を自動的にバランスさせるベイジアン最適化戦略をどのように設計できるか？
• RQ2 提案されたargmax推定戦略とGP-UCBやGP-PIといった確立された手法との間には、どのような理論的関連があるか？
• RQ3 提案された手法は、多様な実世界の最適化タスクにおいて、競争力のあるレグレット性能を達成できるか？
• RQ4 推定ベースのアプローチは、エントロピー探索やその他の情報理論的手法と比較して、累積レグレットの観点でどのように異なるか？
• RQ5 標準的なバンディット目的における推定されたargmax推定戦略の理論的レグレットバウンドは何か？

主な発見

• 提案手法は、ロボット工学およびビジョンタスクにおいて、GP-UCBおよびGP-PIと同等またはそれ以上の累積レグレット性能を達成する。
• 手法は、GP-UCBおよびGP-PIにおける探索と活用のトレードオフパラメータを、ユーザーの干渉なしに自動的かつ適応的にチューニングする。
• 推定ベース戦略の理論的レグレットバウンドが確立され、標準的な目的関数下での収束特性が示された。
• 実験結果により、単純レグレットや目標レグレット値に到達するまでのステップ数といった、さまざまなパフォーマンス基準において頑健な性能が確認された。
• ハイパーパramータの明示的チューニングがなくても良好な性能を発揮するため、ハイパーパramータ選択が困難な実世界の応用において実用的である。
• 低次元構造の仮定と組み合わせることで、高次元関数近似に対しても対応可能である。