[論文レビュー] Convergence of Unregularized Online Learning Algorithms

Yunwen Lei, Lei Shi+1 more|arXiv (Cornell University)|Aug 9, 2017

Sparse and Compressive Sensing Techniques参考文献 28被引用数 5

ひとこと要約

この論文は、反復の有界性仮定なしに、再生核ヒルベルト空間（RKHS）における正則化なしのオンライン勾配降下法の高確率収束速度を確立する。一般の凸設定において、最後の反復に対する最初の明示的な高確率収束速度を、RKHSにおける1ステップ進捗測度を用いた新しいマルティングール分散キャンセレーション手法と一般化誤差を用いて得る。

ABSTRACT

In this paper we study the convergence of online gradient descent algorithms in reproducing kernel Hilbert spaces (RKHSs) without regularization. We establish a sufficient condition and a necessary condition for the convergence of excess generalization errors in expectation. A sufficient condition for the almost sure convergence is also given. With high probability, we provide explicit convergence rates of the excess generalization errors for both averaged iterates and the last iterate, which in turn also imply convergence rates with probability one. To our best knowledge, this is the first high-probability convergence rate for the last iterate of online gradient descent algorithms without strong convexity. Without any boundedness assumptions on iterates, our results are derived by a novel use of two measures of the algorithm's one-step progress, respectively by generalization errors and by distances in RKHSs, where the variances of the involved martingales are cancelled out by the descent property of the algorithm.

研究の動機と目的

• 正則化なしのオンライン勾配降下法における高確率収束保証の欠如に対処する。
• 実際の応用でしばしば破綻する反復の有界性仮定に依存しない。
• 平均反復および最後の反復の確実収束と高確率収束速度を提供する。
• 強い凸性や正則化を要件としない収束結果を確立する。
• マルティングールおよびRKHSに基づく解析を用いて、確率1での明示的収束速度を導出する。

提案手法

• 収束分析のための1ステップ進捗測度として、一般化誤差とRKHS距離の2つの測度を導入する。
• ドーブのマルティングール収束定理とボレル＝カンテリの補題を用いて確実収束を確立する。
• アルゴリズムの降下性を利用することで、マルティングール差分における新しい分散キャンセレーション技術を適用する。
• 反復のノルムの対数的成長条件の下で、集中不等式を用いて高確率バインディングを導出する。
• 損失関数のホルダー滑らかさとカーネルの有界性を活用した自己バインド型議論により、反復を制御する。
• RKHSの構造と再現性を用いて、反復のノルムと勾配更新量のノルムをバインドする。

実験結果

リサーチクエスチョン

• RQ1 正則化なしのオンライン勾配降下法において、期待値での超過一般化誤差の収束を保証するステップサイズの条件は何か？
• RQ2 正則化や有界性仮定なしに、オンライン勾配降下法の確実収束を確立できるか？
• RQ3 強い凸性が存在しない状況で、最後の反復の高確率収束速度は何か？
• RQ4 正則化なしで、オンライン学習におけるマルティングール差分の分散をどのようにキャンセルできるか？
• RQ5 最小限の仮定の下で、平均反復および最後の反復の両方の明示的収束速度を導出できるか？

主な発見

• 超過一般化誤差の期待値における収束の十分かつ必要条件をステップサイズに関して確立した。
• 正則化なしの一般凸設定において、オンライン勾配降下法の最後の反復に対する最初の高確率収束速度を提供した。
• 高確率で、平均反復および最後の反復の超過一般化誤差が $ O\left(\frac{\log^{3/2}(T/\delta)}{\sqrt{T}}\right) $ の速度で減少する。これは確率1での収束を意味する。
• 明示的な投影や有界性仮定なしに、反復が高確率で有界のまま保たれる。
• 正則化や有界性制約を避けるために、マルティングール差分における新しい分散キャンセレーション機構を用いた。
• 損失関数のホルダー滑らかさとカーネルの有界性のみを仮定した最小限の条件下で収束速度を導出した。