[論文レビュー] Nonmyopic Gaussian Process Optimization with Macro-Actions

Dmitrii Kharkovskii, Chun Kai Ling+1 more|arXiv (Cornell University)|Feb 22, 2020

Advanced Bandit Algorithms Research参考文献 26被引用数 4

ひとこと要約

本稿では、マクロアクションを用いてベイズ最適化における長期間計画を可能にする非ミロプティックなガウス過程最適化フレームワークを提案する。ミロプティックおよびバッチベースの手法の限界を克服し、理論的保証を備えたスケーラブルで適応的かつ理論的に妥当な最適化を実現する。

ABSTRACT

This paper presents a multi-staged approach to nonmyopic adaptive Gaussian process optimization (GPO) for Bayesian optimization (BO) of unknown, highly complex objective functions that, in contrast to existing nonmyopic adaptive BO algorithms, exploits the notion of macro-actions for scaling up to a further lookahead to match up to a larger available budget. To achieve this, we generalize GP upper confidence bound to a new acquisition function defined w.r.t. a nonmyopic adaptive macro-action policy, which is intractable to be optimized exactly due to an uncountable set of candidate outputs. The contribution of our work here is thus to derive a nonmyopic adaptive epsilon-Bayes-optimal macro-action GPO (epsilon-Macro-GPO) policy. To perform nonmyopic adaptive BO in real time, we then propose an asymptotically optimal anytime variant of our epsilon-Macro-GPO policy with a performance guarantee. We empirically evaluate the performance of our epsilon-Macro-GPO policy and its anytime variant in BO with synthetic and real-world datasets.

研究の動機と目的

• 高コストで複雑な目的関数の設定において、ミロプティックおよびバッチベースのベイズ最適化の劣化を是正すること。
• マクロアクションを原始的アクションのシーケンスとして活用することで、予算サイズに達するまでの長期間にわたる非ミロプティックで適応的な計画を可能にすること。
• ガウス過程最適化のための理論的根拠に基づいた$\epsilon$-ベイズ最適なマクロアクション方策を開発すること。
• リアルタイムでの実行を可能にするために、性能保証を維持したままの、$\epsilon$-Macro-GPOのアニタイム変種を設計すること。

提案手法

• 一般化されたGP上昇信頼区間獲得関数を非ミロプティックで適応的なマクロアクション方策に拡張し、前方探索計画を可能にする。
• 非可算なマクロアクション出力空間における最適化の非効率性に対処するため、新規の$\epsilon$-ベイズ最適なマクロアクションGPO方策（$\epsilon$-Macro-GPO）を導入する。
• 構造化されたマクロアクション方策を用いて、有界な複雑性を保ちながら、前方値を再帰的ベルマン型再帰によって計算する。
• $\epsilon$-最適性を達成するためのマクロアクション数$N$の理論的上限を導出し、$N = \mathcal{O}(\kappa^{2H}/\epsilon^2 \log(\kappa A / \epsilon))$であることを示す。
• $\epsilon$-Macro-GPOのアニュアルバージョンを提案し、漸近的最適性と性能保証を維持しながらリアルタイム実行を可能にする。
• 価値関数とマクロアクションシーケンスに沿った不確実性の伝播を束縛するための補助的補題を用い、理論的取り扱いやすさを保証する。

実験結果

リサーチクエスチョン

• RQ1 非可算なマクロアクション出力空間において、理論的保証を失うことなく、長期間計画のスケーラビリティを実現するためにマクロアクションを効果的に使用できるか？
• RQ2 マクロアクション出力空間が非可算である場合に、非ミロプティックで適応的なGPOのための$\epsilon$-ベイズ最適方策をどのように構築できるか？
• RQ3 マクロアクションベースの非ミロプティックGPOにおいて、$\epsilon$-最適性を達成するために必要な理論的サンプル複雑度はどの程度か？
• RQ4 提案された方策を、性能保証を維持したままリアルタイムでの実行に適した形にどのように変換できるか？
• RQ5 有限の予算制約下で、グローバル最適値への収束性において、提案手法がミロプティックおよびバッチベースのBOアルゴリズムを上回るか？

主な発見

• 提案された$\epsilon$-Macro-GPO方策は、理論的サンプル複雑度$N = \mathcal{O}(\kappa^{2H}/\epsilon^2 \log(\kappa A / \epsilon))$を伴い、非ミロプティックで適応的なガウス過程最適化において$\epsilon$-ベイズ最適性を達成する。
• $\epsilon$-Macro-GPOのアニュアルバージョンは、漸近的最適性と性能保証を維持しており、リアルタイムでの実行が可能である。
• 合成データおよび実世界データセットにおける実験的評価から、$\epsilon$-Macro-GPOはミロプティックなDB-GP-UCBおよび他のベースラインBO手法を上回り、特に大きな予算条件下でグローバル最大値に到達する能力に優れていることが示された。
• AUVのシミュレーションタスクにおいて、$\epsilon$-Macro-GPOはグローバル最大値に達するマクロアクションを効果的に計画した一方、ミロプティックなDB-GP-UCBは局所最適値に収束した。
• 本手法は最大8観測（H=4, N=1）の前方探索に対してもスケーラブルであり、5回未満の前方探索に制限される既存の非ミロプティックで適応的なBO手法を著しく上回った。
• 理論的解析により、価値関数と不確実性の伝播が再帰的補題によって束縛され、方策の安定性と収束性が保証された。