[論文レビュー] An Optimal Algorithm for Bandit and Zero-Order Convex Optimization with Two-Point Feedback

Ohad Shamir|arXiv (Cornell University)|Jul 31, 2015

Advanced Bandit Algorithms Research参考文献 6被引用数 23

ひとこと要約

本稿では、2点フィードバックを用いたバンディットおよびゼロオーダー凸最適化のための単純で最適なアルゴリズムを提示する。対称勾配推定器を用いることで、従来の手法に比べて分散制御を改善する。ユークリッド空間および非ユークリッド空間の両設定において、滑らかでない凸関数に対しても最適なリグレットバウンドを達成し、先行研究が残したギャップを埋め、分析を簡素化しながらも強固な理論的保証を維持する。

ABSTRACT

We consider the closely related problems of bandit convex optimization with two-point feedback, and zero-order stochastic convex optimization with two function evaluations per round. We provide a simple algorithm and analysis which is optimal for convex Lipschitz functions. This improves on \cite{dujww13}, which only provides an optimal result for smooth functions; Moreover, the algorithm and analysis are simpler, and readily extend to non-Euclidean problems. The algorithm is based on a small but surprisingly powerful modification of the gradient estimator.

研究の動機と目的

• 2点フィードバックを用いたバンディット凸最適化のための単純で最適なアルゴリズムを開発すること。滑らかでない関数にも適用可能である。
• 2点フィードバックモデル下での滑らかでない設定における最適リグレットバウンドと滑らかな設定における最適リグレットバウンドのギャップを埋めること。
• アルゴリズムと分析を、1ノルムなどの非ユークリッド空間に拡張し、最適性の損失を最小限に抑えること。
• 特に、非滑らか関数に対して[4]で用いられる複雑なスムージング手法に依存しない分析を簡素化すること。
• 1ラウンドあたり2回の関数評価を用いるバンディット最適化およびゼロオーダーストキャスティック最適化に共通する統一枠組みを提供すること。

提案手法

• アルゴリズムは、対称な2点勾配推定器を用いる。関数を w - δu および w + δu で評価し、(d/(2δ)) * (f(w + δu) - f(w - δu)) * u を計算する。ここで u はランダムな単位ベクトルである。
• この推定器は標準的な1点差分推定器と同じ期待値を持つが、特に非滑らか関数において、高次元において顕著に低い分散を示す。
• ミラー降下またはオンライン凸最適化フレームワークと統合し、リグレットと勾配分散のバランスを取るために適切に選ばれたステップサイズ η を用いる。
• 分析は濃度不等式と関数値の4次モーメントのバウンドに依存し、ランダム方向 u の双対ノルムの有界性に依存する。
• 重要な技術的要素として、E[||u||_*^4] ≤ p_* という双対ノルム条件を用い、勾配推定器の分散を制御する。
• アルゴリズムは、凸リプシッツ関数に対して、O(√(dT)) の最適なリグレットスケーリングを達成することが示された。

実験結果

リサーチクエスチョン

• RQ1 単純なアルゴリズムが、2点フィードバックバンディット設定下での滑らかでない凸関数に対しても最適なリグレットを達成できるか？
• RQ2 特に高次元において、非対称な推定器に比べて、対称な2点勾配推定器がより優れた分散制御を提供するか？
• RQ3 分析をユークリッド幾何学を超えて、例えば1ノルム設定へと簡素化して拡張できるか？
• RQ4 非滑らか関数に対して、複雑なスムージング技術に依存せずに最適なリグレットを達成できるか？
• RQ5 非ユークリッド空間における次元 d に伴うアルゴリズムの性能スケーリングはどのようになるか？

主な発見

• 提案されたアルゴリズムは、ユークリッド空間および非ユークリッド空間の両設定において、凸リプシッツ関数に対して O(√(dT)) の最適なリグレットスケーリングを達成し、既知の下界と一致する。
• 1ノルム設定において、アルゴリズムは最適値から √(log d) 要因以内のリグレットを達成し、優れたスケーラビリティを示す。
• 対称勾配推定器は、従来の1点推定器に比べて分散を低減し、特に非滑らか関数において収束性が向上する。
• 従来の研究（特に[4]）に比べ、分析が著しく簡素化されている。[4]では非滑らか関数に対して複雑なスムージングと次元に関する対数因子を必要としていた。
• アルゴリズムはゼロオーダーストキャスティック最適化に対しても直接適用可能であり、同じリグレット保証が最適化誤差バウンドに拡張される。
• 次元 d や関数パラメータに対する最適依存性を達成しており、追加の対数的または次元的ペナルティがない。