[論文レビュー] Online convex optimization in the bandit setting: gradient descent without a gradient

Abraham D. Flaxman, Adam Tauman Kalai+1 more|ArXiv.org|Aug 2, 2004

Advanced Bandit Algorithms Research参考文献 17被引用数 12

ひとこと要約

この論文は、1回の関数評価から得られる1点勾配推定値を用いて、勾配の直接的アクセスが不要な状況でも勾配降下法を適用可能なバンドイットオンライン凸最適化アルゴリズムを提示している。この推定値により、滑らか化された関数のフレームワーク内で勾配を近似し、Zinkevichのオンライン勾配降下法を最小限のフィードバックを伴うバンドイット設定に拡張している。結果として、$O(n^{5/6})$の期待リグレットを達成する。

ABSTRACT

We consider a the general online convex optimization framework introduced by Zinkevich. In this setting, there is a sequence of convex functions. Each period, we must choose a signle point (from some feasible set) and pay a cost equal to the value of the next function on our chosen point. Zinkevich shows that, if the each function is revealed after the choice is made, then one can achieve vanishingly small regret relative the best single decision chosen in hindsight. We extend this to the bandit setting where we do not find out the entire functions but rather just their value at our chosen point. We show how to get vanishingly small regret in this setting. Our approach uses a simple approximation of the gradient that is computed from evaluating a function at a single (random) point. We show that this estimate is sufficient to mimic Zinkevich's gradient descent online analysis, with access to the gradient (only being able to evaluate the function at a single point).

研究の動機と目的

• 各ラウンド後に勾配ではなく関数値のみが公開されるバンドイット設定におけるオンライン凸最適化の拡張を目的とする。
• 1ラウンドあたり1回の関数評価でのみ動作する勾配降下ベースのアルゴリズムの設計を目的とする。
• 制限付きフィードバック下でのオンライン凸最適化の理論的リグレットバウンドの確立、特に無作為な敵に対する$O(n^{5/6})$の期待リグレットを目的とする。
• オンライン設定において真の勾配の代わりに使用可能な1点勾配推定値の分析を厳密に行うことを目的とする。
• アフィン変換により凸集合$S$を等方的配置に変換し、ブラックボックス関数アクセスを用いて勾配をランダムな摂動で近似することで、Zinkevichのオンライン勾配降下フレームワークを、勾配が直接入手できない状況に一般化することを目的とする。

提案手法

• アルゴリズムは1点勾配推定値を用いる：$ \hat{g}_t = \frac{d}{\delta} c_t(x_t + \delta u_t) u_t $、ここで$ u_t $は一様にランダムな単位ベクトルである。
• この推定値は、コスト関数$ c_t $の滑らか化されたバージョン$ \hat{f}(x) = \mathbb{E}[f(x + \delta u)] $の勾配を近似する。
• 推定された勾配$ \hat{g}_t $を用いて投影勾配降下法を適用し、$ x_{t+1} = \Pi_S(x_t - \eta \hat{g}_t) $と更新する。
• 1点推定値の期待値が滑らか化関数の勾配に等しいという事実を分析で活用し、バイアスを低く保証する。
• 幾何的性質を向上させるために、凸集合$ S $をアフィン変換により等方的配置に変換する。
• 変換された領域の直径とリプシッツ定数と関連付けることで、リグレットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 関数値のみが観測可能で勾配が得られないバンドイット設定において、オンライン勾配降下法を効果的に適用できるか？
• RQ2 1ラウンドあたり1回の関数評価しか得られない状況で、オンライン凸最適化の達成可能なリグレットバウンドは何か？
• RQ3 敵対的オンライン設定において、1点勾配推定値は真の勾配をどれほどよく近似できるか？
• RQ4 完全な勾配や複数回の評価が得られない状況でも、オンライン勾配降下法のリグレットをバウンドできるか？
• RQ5 幾何的構造（例：等方的配置）は、バンドイットオンライン最適化アルゴリズムの性能にどのような影響を与えるか？

主な発見

• アルゴリズムは、バンドイットオンライン凸最適化設定において、無作為な敵に対する期待リグレットが$ O(n^{5/6}) $であることを達成する。
• 1点勾配推定値$ \frac{d}{\delta} c_t(x_t + \delta u_t) u_t $は、$ c_t $の滑らか化されたバージョンの勾配の不偏推定値である。
• 直径$ D $の凸集合$ S $と$ L $-リプシッツコスト関数に対して、$ S $を等方的配置に変換した後、期待リグレットは$ 6n^{3/4}d(\sqrt{CLR} + C) $でバウンドされる。
• $ L $-リプシッツ仮定を課さない場合、期待リグレットは$ 6n^{5/6}dC $でバウンドされ、ここで$ C $は関数値の上限である。
• この手法により、1ラウンドあたり1回の関数評価のみで、勾配アクセスがなくてもオンライン設定で勾配降下法を実行可能である。
• 分析により、真の勾配が不明で関数が敵対的に選ばれていても、1点推定値が収束に十分であることが示された。