[論文レビュー] (Bandit) Convex Optimization with Biased Noisy Gradient Oracles

Xiaowei Hu, L. A. Prashanth+2 more|arXiv (Cornell University)|Sep 22, 2016

Stochastic Gradient Optimization Techniques参考文献 37被引用数 5

ひとこと要約

本稿は、バイアス付きノイズの多い勾配オラクルを用いたバンディット凸最適化の統一的枠組みを導入し、特定の勾配推定手法を抽象化する。既存のアルゴリズムおよび解析手法が強い凸関数に対して最適な√n収束率を達成できないことが示され、現在の手法に根本的なギャップが存在することが明らかになり、これを埋めるために新しい手法または証明技術が不可欠であることが示された。

ABSTRACT

Algorithms for bandit convex optimization and online learning often rely on constructing noisy gradient estimates, which are then used in appropriately adjusted first-order algorithms, replacing actual gradients. Depending on the properties of the function to be optimized and the nature of ``noise'' in the bandit feedback, the bias and variance of gradient estimates exhibit various tradeoffs. In this paper we propose a novel framework that replaces the specific gradient estimation methods with an abstract oracle. With the help of the new framework we unify previous works, reproducing their results in a clean and concise fashion, while, perhaps more importantly, the framework also allows us to formally show that to achieve the optimal root-$n$ rate either the algorithms that use existing gradient estimators, or the proof techniques used to analyze them have to go beyond what exists today.

研究の動機と目的

• 勾配推定を一般化されたオラクルモデルに抽象化することで、バンディット凸最適化の既存の解析を統一すること。
• 現在のアルゴリズムおよび証明技術が強い凸関数に対して最適な√n収束率を達成できないことを形式的に示すこと。
• 既存手法に存在する根本的なギャップを同定し、これを埋めるために新しいアルゴリズム的または解析的アプローチが不可欠であることを明らかにすること。
• d次元の下界を1次元の下界に還元する一般化された手法を提供すること。

提案手法

• ノイズの多い勾配推定におけるバイアスと分散のトレードオフを捉える、新しい勾配オラクルモデルを導入し、多数の先行勾配推定手法を包含する。
• Fenchel対応的解析フレームワークを用いて、リグレットと最適化誤差をバウンディングし、強い凸性および滑らかさの性質を統合する。
• d次元のミニマックス下界を1次元問題に変換する還元技術を適用し、より簡単な解析を可能にする。
• 条件付き期待値とFenchel-Young不等式を用いて、勾配推定における確率的ノイズとバイアスの影響を制御する。
• バイアス、分散、ステップサイズのパラメータを巧みにバランスさせることで、最適化誤差およびリグレットの上界を導出する。
• 現在の勾配推定オラクルに依存するいかなるアルゴリズムに対しても、既知のリグレット上界（例：√T）が証明できないことを示す。

実験結果

リサーチクエスチョン

• RQ1 バイアス付きノイズの多い勾配オラクルを用いたバンディット凸最適化を分析する統一的枠組みを構築することは可能か？
• RQ2 既存の勾配推定手法が最適収束率に到達する際に直面する根本的限界は何か？
• RQ3 現在のアルゴリズムおよび証明技術が強い凸関数に対して最適な√nレートを達成できないことを証明することは可能か？
• RQ4 d次元のミニマックス下界を1次元設定に還元する方法は何か？ これにより、下界解析が簡略化されるか？
• RQ5 バイアス付きノイズの多い勾配オラクルの文脈において、既存の上界と下界の間のギャップは何か？

主な発見

• 提示されたオラクルフレームワークは、バンディット凸最適化における先行研究の解析を統一的かつ簡素化する。
• 滑らかで凸な関数に対しては、最適化誤差の上界と下界が一致しており、解析のタイトさが示された。
• 滑らかで強い凸な関数に対しては、既存の上界と下界の間にギャップが残っており、現在の手法または証明技術では最適な√nレートに到達できないことが示唆された。
• 本稿では、現在の勾配推定オラクルに依存するいかなるアルゴリズムに対しても、既知のミニマックスリグレット√Tが達成できないことを証明しており、既存アプローチの根本的限界を示している。
• d次元の下界を1次元のケースに還元する一般化された還元手法を導入し、1次元の解析からd次元の下界を証明することが可能となり、下界解析が著しく簡素化された。