[論文レビュー] Regret Analysis of Global Optimization in Univariate Functions with Lipschitz Derivatives

Kaan Gökcesu, Hakan Gökcesu|arXiv (Cornell University)|Aug 24, 2021

Advanced Bandit Algorithms Research参考文献 48被引用数 4

ひとこと要約

本稿は、ピヤブスキー＝シューベルトのような下界アルゴリズムを用いた単変数関数のグローバル最適化における累積リグレットを分析する。リプシッツ連続関数でパラメータ $L$ を持つ場合、累積リグレットは $O(L\log T)$ であることを確立する。リプシッツ滑らか関数でパラメータ $H$ を持つ場合、$O(H)$ のリグレットを達成し、より広範な関数クラスへと拡張される。

ABSTRACT

In this work, we study the problem of global optimization in univariate loss functions, where we analyze the regret of the popular lower bounding algorithms (e.g., Piyavskii-Shubert algorithm). For any given time $T$, instead of the widely available simple regret (which is the difference of the losses between the best estimation up to $T$ and the global optimizer), we study the cumulative regret up to that time. With a suitable lower bounding algorithm, we show that it is possible to achieve satisfactory cumulative regret bounds for different classes of functions. For Lipschitz continuous functions with the parameter $L$, we show that the cumulative regret is $O(L\log T)$. For Lipschitz smooth functions with the parameter $H$, we show that the cumulative regret is $O(H)$. We also analytically extend our results for a broader class of functions that covers both the Lipschitz continuous and smooth functions individually.

研究の動機と目的

• 単変数関数のグローバル最適化における累積リグレットを分析し、単純なリグレットを超えて考察すること。
• ピヤブスキー＝シューベルトのような下界アルゴリズムの累積リグレットを最小化する性能を評価すること。
• リプシッツ連続およびリプシッツ滑らか導関数を備えた関数に対するタイトなリグレット境界を導出すること。
• リプシッツ連続および滑らか関数の両方を一般化するより広範な関数クラスへ分析を拡張すること。

提案手法

• 単純なリグレットではなく、累積リグレットフレームワークを採用し、時間 $T$ の間の総損失を測定する。
• 導関数のリプシッツ制約に基づく信頼区間を構築する下界アルゴリズムを適用する。
• リプシッツ導関数仮定の下での関数近似に、ピヤブスキー＝シューベルトアルゴリズムをコア手法として用いる。
• 下界がグローバル最小値に収束する速度を分析することで、リグレット境界を導出する。
• リプシッツ連続性と滑らかさの性質を組み合わせることで、より広範な関数クラスへの一般化を図る。

実験結果

リサーチクエスチョン

• RQ1 下界アルゴリズムの単変数グローバル最適化における累積リグレットの挙動はいかなるものか？
• RQ2 パラメータ $L$ を持つリプシッツ連続関数において、累積リグレットは時間 $T$ に対してどのようにスケーリングされるか？
• RQ3 パラメータ $H$ を持つリプシッツ滑らか関数の累積リグレット境界は何か？
• RQ4 リプシッツ連続および滑らか関数の両方を含むより広範な関数クラスへ、リグレット分析を拡張できるか？

主な発見

• パラメータ $L$ を持つリプシッツ連続導関数を備えた単変数関数では、累積リグレットは $O(L\log T)$ で有界である。
• パラメータ $H$ を持つリプシッツ滑らか導関数を備えた関数では、累積リグレットは $O(H)$ で有界であり、$T$ とは無関係に保たれる。
• リグレット境界は、導関数のリプシッツ制約を活用して探索区間を精密化する下界アルゴリズムを用いて導出された。
• リプシッツ連続および滑らか関数の両方を一般化するより広範な関数クラスへ分析を拡張したが、同じリグレット次数を維持した。