[論文レビュー] Black-Box Reductions for Parameter-free Online Learning in Banach Spaces

Ashok Cutkosky, Francesco Orabona|arXiv (Cornell University)|Feb 17, 2018

Advanced Bandit Algorithms Research被引用数 8

ひとこと要約

本稿は、バナッハ空間におけるパラメータフリーなオンライン学習アルゴリズムの設計を簡素化する、新たなブラックボックス還元手法を導入する。高次元で複雑な問題を、1次元の最適化および制約なしの設定に還元することで、その設計を容易にする。本手法は、$ O\big(\|\mathring{w}\| \sqrt{\sum_{t=1}^T \|g_t\|_\star^2 \ln(\|\mathring{w}\| \sum_{t=1}^T \|g_t\|_\star^2 + 1)}\big) $ の改善されたレグレットバウンドを達成し、オンライン勾配降下法と同等の実行時間であり、任意のノルムに適用可能である。

ABSTRACT

We introduce several new black-box reductions that significantly improve the design of adaptive and parameter-free online learning algorithms by simplifying analysis, improving regret guarantees, and sometimes even improving runtime. We reduce parameter-free online learning to online exp-concave optimization, we reduce optimization in a Banach space to one-dimensional optimization, and we reduce optimization over a constrained domain to unconstrained optimization. All of our reductions run as fast as online gradient descent. We use our new techniques to improve upon the previously best regret bounds for parameter-free learning, and do so for arbitrary norms.

研究の動機と目的

• 複雑な最適化問題を、より単純でよく理解された設定に還元することで、適応的でパラメータフリーなオンライン学習アルゴリズムの設計を簡素化すること。
• パrameterチューニングを必要とせずに、バナッハ空間におけるオンライン学習のレグレット保証を改善すること。
• 従来の2ノルムやヒルバート空間の設定を超えて、任意のノルムおよび制約付き領域へ一般化すること。
• 計算効率を維持し、オンライン勾配降下法と同等の実行時間となるようにすること。

提案手法

• ブラックボックス変換を用いて、パラメータフリーなオンライン学習を、オンライン指数的凸最適化問題に還元する。
• 新規な還元フレームワークを用いて、任意のバナッハ空間における最適化を1次元のオンライン最適化問題に還元する。
• 部分集合 $ W \subset V $ における制約付きオンライン学習を、より大きな空間 $ V $ における非制約最適化問題に還元し、レグレット保証を保持する。
• 再帰的平均化メカニズムと適応的重みを用いて、還元された1次元設定におけるレグレットを制御する。
• 双対ノルム $ \|\cdot\|_\star $ を用いて勾配の大きさを測定し、慎重に設計されたポテンシャル関数により安定性を確保する。
• コーシー–シュワルツの不等式およびテレスコピング和の技法を用いて、累積勾配ノルムおよび適応的重みの観点から、レグレットを評価する。

実験結果

リサーチクエスチョン

• RQ1 バナッハ空間におけるパラメータフリーなオンライン学習を、レグレット性能に損なわれることなく、より単純な1次元最適化問題に還元することは可能か？
• RQ2 滑らかな損失関数に対して、$ \|g_t\|_\star $ ではなく $ \|g_t\|_\star^2 $ に依存するように、レグレットバウンドを改善することは可能か？
• RQ3 任意のノルムに適用可能であり、かつオンライン勾配降下法と同等の実行時間を持つような還元を構築することは可能か？
• RQ4 最適なレグレットを維持したまま、制約付き領域やマルチスケールエキスパート問題を扱えるようにフレームワークを拡張することは可能か？
• RQ5 1次微分情報のみを用いて、一般の凸損失関数に対して $ \tilde{O}(\sqrt{T}) $ のレグレットを達成し、強い凸損失関数に対して対数的レグレットを達成することは可能か？

主な発見

• 本稿は、$ R_T(\mathring{w}) \leq \|\mathring{w}\| \sqrt{\sum_{t=1}^T \|g_t\|_\star^2 \ln\left(\|\mathring{w}\| \sum_{t=1}^T \|g_t\|_\star^2 + 1\right)} $ のレグレットバウンドを達成し、従来のバウンドから $ \|g_t\|_\star $ を $ \|g_t\|_\star^2 $ に置き換えることで改善している。
• このレグレットバウンドは対数的要因を除いて最適であり、任意のノルムに対して成り立ち、2ノルムの設定を超えて一般化されている。
• すべての還元は、オンライン勾配降下法と同等の実行時間で実行され、計算的に効率的である。
• このフレームワークにより、マルチスケールエキスパート問題におけるレグレットと実行時間が改善され、先行研究を上回るか同等の結果が得られる。
• 本手法は、1次微分情報のみを用いて、一般の凸損失関数に対して $ \tilde{O}(\sqrt{T}) $ のレグレットを達成し、強い凸損失関数に対して対数的レグレットを達成する。
• 解析は、従来の研究と比較して著しく単純であり、複雑な代数的変形を回避し、バナッハ空間へ一般化可能である。