[論文レビュー] On Lower Bounds for Standard and Robust Gaussian Process Bandit Optimization

Xu Cai, Jonathan Scarlett|arXiv (Cornell University)|Aug 20, 2020

Advanced Bandit Algorithms Research参考文献 42被引用数 8

ひとこと要約

本稿は、非ベイジアン設定におけるガウス過程バンディット最適化の、アルゴリズムに依存しない新たな下界を確立し、誤差確率に改善された依存性を示す、簡素化された証明技法を導入する。さらに、サンプル点の敵対的汚染下での累積的リグレットの、初めての同時下界を提示し、最終点が汚染される設定における既存の下界を、成功確率が1に非常に近い場合に限らず、2/3程度まで拡張することで強化する。

ABSTRACT

In this paper, we consider algorithm-independent lower bounds for the problem of black-box optimization of functions having a bounded norm is some Reproducing Kernel Hilbert Space (RKHS), which can be viewed as a non-Bayesian Gaussian process bandit problem. In the standard noisy setting, we provide a novel proof technique for deriving lower bounds on the regret, with benefits including simplicity, versatility, and an improved dependence on the error probability. In a robust setting in which every sampled point may be perturbed by a suitably-constrained adversary, we provide a novel lower bound for deterministic strategies, demonstrating an inevitable joint dependence of the cumulative regret on the corruption level and the time horizon, in contrast with existing lower bounds that only characterize the individual dependencies. Furthermore, in a distinct robust setting in which the final point is perturbed by an adversary, we strengthen an existing lower bound that only holds for target success probabilities very close to one, by allowing for arbitrary success probabilities above $\frac{2}{3}$.

研究の動機と目的

• 標準的なノイズありガウス過程バンディット最適化における既存の下界に対する、新たなより単純な証明技法の開発。
• サンプル汚染設定下で、汚染度と時間枠の両方に依存する累積的リグレットの、初めての同時下界の確立。
• 最終出力点が敵対的に摂動されるロバスト設定における、既存の下界の改善。成功確率が1に非常に近い場合に限らず、2/3程度まで有効性を拡張。
• 特に敵対的汚染状況において、非ベイジアンGPバンディット最適化のロバスト性に関する理論的理解のギャップを埋める。

提案手法

• 適切に制御されたRKHSノルムと摂動挙動を有する関数族を巧みに構築することで、標準的リグレット下界に対する新規な証明戦略を提案。
• 敵対的汚染を分析する際、敵が自身の予算が尽きるまで関数値を0に低下させるモデルを採用。アルゴリズムが真のピーク位置について不確実なままであることに着目。
• ノイズ下での識別可能性の課題をモデル化するため、明確に分離可能な位置に狭いスパイクを持つ関数族を導入。最適点の特定に必要なサンプルの複雑さを分析可能にする。
• 情報理論的議論を用いて、狭いスパイクの有無を持つ関数の間を区別するのに必要なサンプル数の上限を導出し、リグレットと最適性到達までの時間の下界を導出。
• 成功確率が1に近い場合に限らない、任意の成功確率に対して有効な形で、タイプの方法とファーノの不等式を変形して適用。
• 関数の区別が、唯一、狭く低確率領域内でサンプリングする必要がある関数族を構築。各領域はノイズ分散の逆数に比例するΩ(σ²/ε²)のサンプルを要する。

実験結果

リサーチクエスチョン

• RQ1 標準的GPバンディット最適化における既存の下界に対する、より単純かつ汎用性の高い証明技法を、誤差確率δに改善された依存性を伴って開発可能か？
• RQ2 サンプル点が敵対的に汚染される状況下で、累積的リグレットの根本的かつ同時的な依存関係は、汚染度と時間枠にどのように依存するか？
• RQ3 最終点が汚染される設定における既存の下界は、成功確率が1に非常に近い場合に限らず、2/3程度まで拡張可能か？
• RQ4 関数族の構造は、ロバストGPバンディット最適化における情報理論的下界にどのように影響を与えるか？

主な発見

• 提案された証明技法は、標準的GPバンディット最適化における既存の下界を単純化・強化し、誤差確率δに改善された依存性を達成する。
• 汚染されたサンプル設定下では、決定的戦略に対してΩ(‖R_T^std‖ + C(log T)^{d/2})の下界を確立。汚染度Cと時間枠Tの避けられない同時依存性を示す。
• 汚染された最終点設定下では、ε-最適性を確率2/3以上で達成するにはΩ(1/ε² (log(1/ε))^{d/ν} log(1/δ))のサンプルが必要であることを示し、成功確率の有効範囲を拡張。
• 分析から、汚染されたサンプルケースでは、敵が構築された関数族の半数以上に対して活性な場合、リグレットがΩ(Tε)に比例して増加することが判明。これはC⋅M⋅T/εに比例する下界を示唆する。
• 汚染された最終点分析で用いられた関数族は、関数を区別するには、狭く低確率領域内でサンプリングする必要があることを保証する。各領域はノイズの影響により、Ω(σ²/ε²)のサンプルを要する。
• 結果として、成功確率が2/3の場合と1に近い場合とで、同じ条件下で必要なサンプル数のオーダーが定数倍の違いを除いて同一であることが示され、理論的ギャップが埋められた。