[論文レビュー] A simple parameter-free and adaptive approach to optimization under a minimal local smoothness assumption

Peter L. Bartlett, Victor Gabillon+1 more|arXiv (Cornell University)|Oct 1, 2018

Advanced Bandit Algorithms Research参考文献 1被引用数 16

ひとこと要約

本稿では、ノイズレベルや滑らかさの知識を必要とせず、最小限の局所的滑らかさ仮定のもとで最先端のレグレット保証を達成するパラメータフリーで適応的な最適化アルゴリズムを提案する。低ノイズおよびノイズなし（決定的フィードバック）の状態でも収束性が著しく向上し、広範な関数クラスに対して指数的レグレット減少を達成する。

ABSTRACT

We study the problem of optimizing a function under a \\emph{budgeted number of evaluations}. We only assume that the function is \\emph{locally} smooth around one of its global optima. The difficulty of optimization is measured in terms of 1) the amount of \\emph{noise} $b$ of the function evaluation and 2) the local smoothness, $d$, of the function. A smaller $d$ results in smaller optimization error. We come with a new, simple, and parameter-free approach. First, for all values of $b$ and $d$, this approach recovers at least the state-of-the-art regret guarantees. Second, our approach additionally obtains these results while being \ extit{agnostic} to the values of both $b$ and $d$. This leads to the first algorithm that naturally adapts to an \ extit{unknown} range of noise $b$ and leads to significant improvements in a moderate and low-noise regime. Third, our approach also obtains a remarkable improvement over the state-of-the-art SOO algorithm when the noise is very low which includes the case of optimization under deterministic feedback ($b=0$). There, under our minimal local smoothness assumption, this improvement is of exponential magnitude and holds for a class of functions that covers the vast majority of functions that practitioners optimize ($d=0$). We show that our algorithmic improvement is borne out in experiments as we empirically show faster convergence on common benchmarks.

研究の動機と目的

• 最小限の仮定、特にグローバル最適解の周囲における局所的滑らかさと有界ノイズの下で良好に動作する最適化アルゴリズムを開発すること。
• ノイズレベルや滑らかさといったチューニングパラメータの必要性を排除し、未知の関数特性に完全に適応可能なアルゴリズムを実現すること。
• ノイズや滑らかさの事前知識なしに、確率的および決定的フィードバック設定の両方で最適なレグレット保証を達成すること。
• SOO や StoSOO が劣化する低ノイズおよび決定的状態でのパフォーマンス向上を図ること。
• 標準ベンチマーク上での実験的検証を通じて、最先端の木構造ベース最適化アルゴリズムと比較して収束速度の向上を確認すること。

提案手法

• SOO や StoSOO と同様の木構造探索方式を採用するが、観測された関数値とノイズ推定値に基づいて動的に探索を調整する、新規の適応的選択ルールを導入する。
• パラメータフリーの上側信頼区間（UCB）スタイルの基準を採用し、局所的関数変動を活用することで、未知のノイズレベルと局所的滑らかさに内蔵的に適応する。
• 関数の最適解近傍での滑らかさを定義するパrameter $ d $ を用いた最小限の局所的滑らかさ仮定に依存する。$ d $ が小さいほど、最適解近傍での関数の正則性が高くなる。
• 学習率や探索係数の明示的チューニングを回避するため、観測された分散と関数の挙動に基づく自己調整型信頼区間を用いる。
• ノイズレベル $ b $ および滑らかさパrameter $ d $ の両方に対して、アルゴリズムが無知である（アーギョスティックである）ように設計されており、異なる状態への自動適応が可能である。
• 決定的状態（$ b = 0 $）で $ d = 0 $ の場合、指数的レグレット減少（$ e^{-n/\text{polylog}(n)} $）を達成する。

実験結果

リサーチクエスチョン

• RQ1 ノイズレベルや局所的滑らかさの事前知識なしに、パラメータフリーの最適化アルゴリズムが最適なレグレット保証を達成できるか？
• RQ2 関数がグローバルに滑らかでない場合でも、決定的フィードバック状態（$ b = 0 $）でアルゴリズムはどのように動作するか？
• RQ3 ノイズレベルの変化に自然に適応でき、ノイズ推定値をチューニングする必要がある手法よりも優れた性能を示すか？
• RQ4 関数の局所的滑らかさがゼロ（$ d = 0 $）でノイズが存在しない場合、レグレットレートにどのような向上が見られるか？
• RQ5 ハイパーパrameterチューニングなしに、確率的および決定的フィードバック設定の両方で強力なパフォーマンスを維持できるか？

主な発見

• 提案されたアルゴリズム StroquOOL は、パrameterチューニングを一切必要とせず、あらゆるノイズレベルおよび滑らかさレベルで、少なくとも最先端のレグレット保証を達成する。
• 決定的フィードバック状態（$ b = 0 $）では、$ d = 0 $ の場合に指数的レグレット減少（$ e^{-n/\text{polylog}(n)} $）を達成し、SOO や SequOOL より著しく優れている。
• ガーランド関数（$ d = 0 $）において、StroquOOL は決定的状態で指数的レグレット減少を示すが、SOO は $ e^{-\text{poly}(\text{log } n)} $ の減少にとどまる。
• 低ノイズ状態（$ b = 0.1 $）では、StroquOOL はノイズ変化に自然に適応せず、正確なノイズ推定値を必要とする POO や HOO を上回る。
• ノイズが低く見積もられた場合（$ frac{b}{ ilde{b}} eq 1 $）、POO や HOO は著しく性能を落とすが、StroquOOL はあらゆるノイズレベルで強固な性能を維持する。
• ラッピングサイン関数およびガーランド関数における実験的結果は、SOO や StoSOO よりも収束が早く、ノイズおよび滑らかさへの適応性に優れていることを確認した。