[論文レビュー] Fast Rates for Online Gradient Descent Without Strong Convexity via Hoffman's Bound.

Dan Garber|arXiv (Cornell University)|Feb 13, 2018

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

この論文は、Hoffmanの補題を用いることで、多面体集合上での曲がった非強い凸損失関数に対するオンライン勾配降下法（OGD）の対数的レジレットを確立する。この手法はニュートン型手法の高コストを回避しつつ、強い凸性の場合に達成可能な最良のレートと同等の $O(\log T)$ レジレットを達成する。

ABSTRACT

Hoffman's classical result gives a bound on the distance of a point from a convex and compact polytope in terms of the magnitude of violation of the constraints. Recently, several results showed that Hoffman's bound can be used to derive strongly-convex-like rates for first-order methods for convex optimization of curved, though not strongly convex, functions, over polyhedral sets. In this work, we use this classical result for the first time to obtain faster rates for extit{online convex optimization} over polyhedral sets with curved convex, though not strongly convex, loss functions. Mainly, we show that under several reasonable assumptions on the data, the standard extit{Online Gradient Descent} (OGD) algorithm guarantees logarithmic regret. To the best of our knowledge, the only previous algorithm to achieve logarithmic regret in the considered settings is the extit{Online Newton Step} algorithm which requires quadratic (in the dimension) memory and to solve a linear system on each iteration, which greatly limits its applicability to large-scale problems. We also show that in the corresponding stochastic convex optimization setting, Stochastic Gradient Descent achieves convergence rate of $1/t$, matching the strongly-convex case.

研究の動機と目的

• オンライン凸最適化において、強い凸性から曲がった非強い凸関数への高速収束レートの拡張を図ること。
• オンラインニュートンステップなどの既存のアルゴリズムが、各反復で線形システムを解き、二次的なメモリを要するという制限を克服すること。
• OGDが、データおよび損失関数の曲率に関する弱い仮定のもとで、対数的レジレットを達成できることを示すこと。
• 確率的設定下で勾配降下法（SGD）が、強い凸性の場合と同等の $1/t$ 収束レートを達成することを確立すること。

提案手法

• 多面体制約における制約違反と実行可能集合からの距離の関係を、Hoffmanの補題を用いて関係づける。
• Hoffmanの補題を応用し、多面体集合上での非強い凸損失関数に対して、曲率に基づく誤差バウンドを導出する。
• 損失関数の曲率と制約違反の有界性が、高速なレジレットレートを可能にすることを確立する。
• これらの曲率および制約条件のもとでOGDの更新則を分析し、レジレットバウンドを導出する。
• 同様の曲率的議論を用いて、確率的設定下での勾配降下法（SGD）の収束レートを導出する。
• Hoffmanの補題の適用を保証するため、勾配と損失関数の曲率の有界性といったデータに関する仮定に依存する。

実験結果

リサーチクエスチョン

• RQ1 損失関数が曲がっているが強い凸性でない場合、OGDはオンライン凸最適化で対数的レジレットを達成できるか？
• RQ2 データおよび損失関数の曲率に関するどのような条件下で、OGDはニュートン型手法の計算コストを回避しつつ、その性能を再現できるか？
• RQ3 非強い凸的だが曲がった目的関数のもとで、確率的凸最適化においてSGDが $1/t$ 収束レートを達成できるか？
• RQ4 Hoffmanの補題は、強い凸性が欠如する設定で、どのようにより高速な収束レートを可能にするか？
• RQ5 OGDによるオンライン学習で高速なレジレットを達成するために必要な、データおよび損失関数の最小限の仮定は何か？

主な発見

• 損失関数が曲がっているが強い凸性でない場合、OGDは多面体集合上でのオンライン凸最適化で $O(\log T)$ レジレットを達成する。
• レジレットバウンドは、制約違反に基づいて実行可能集合からの距離を制御するHoffmanの補題を用いて導出される。
• 勾配と損失関数の曲率の有界性といった、現実的な仮定のもとで、この結果は成立する。
• 確率的凸最適化設定下で、勾配降下法（SGD）は $1/t$ 収束レートを達成し、強い凸性の場合と同等のレートを達成する。
• 提案手法は、オンラインニュートンステップの $O(d^2)$ のメモリと各反復での線形システムの解法を回避し、高次元へのスケーラビリティを実現する。
• 本研究は、強い凸性ではなく、曲率が、多面体制約と組み合わせることで、オンラインおよび確率的設定で高速レートを達成するのに十分であることを確立する。