[論文レビュー] Improved SVRG for Non-Strongly-Convex or Sum-of-Non-Convex Objectives

Zeyuan Allen-Zhu, Yuan Yang|arXiv (Cornell University)|Jun 5, 2015

Stochastic Gradient Optimization Techniques被引用数 26

ひとこと要約

この論文は、非強い凸および和の非凸最適化問題に対する確率的バナリアンス削減勾配（SVRG）法を改善し、ダミー正則化を必要とせずに高速収束を達成する新しいバリエーションを導入する。著者らはよりタイトな理論的境界を提供し、Lasso、ロジスティック回帰、PCAのベンチマークデータセットにおいて、既存手法を理論的および実践的両面で上回ることを示している。

ABSTRACT

Many classical algorithms are found until several years later to outlive the confines in which they were conceived, and continue to be relevant in unforeseen settings. In this paper, we show that SVRG is one such method: being originally designed for strongly convex objectives, it is also very robust in non-strongly convex or sum-of-non-convex settings. More precisely, we provide new analysis to improve the state-of-the-art running times in both settings by either applying SVRG or its novel variant. Since non-strongly convex objectives include important examples such as Lasso or logistic regression, and sum-of-non-convex objectives include famous examples such as stochastic PCA and is even believed to be related to training deep neural nets, our results also imply better performances in these applications.

研究の動機と目的

• 標準の収束保証が適用されない非強い凸および和の非凸設定におけるSVRGの限界を克服すること。
• 解を歪め、収束を非ゼロの誤差床に制限するダミー正則化（例：チホノフ正則化）の必要性を排除すること。
• 強い凸性や滑らかさの仮定を必要とせず、理論的に裏付けられ、実用的なSVRGの変種を構築すること。
• Lasso、ロジスティック回帰、および確率的PCAを含む主要な機械学習問題における性能向上を示すこと。

提案手法

• 変動を低減する勾配推定器と適応的エポック長を組み込んだ、確率的勾配更新を変更する新しいSVRGのバリエーションを提案する。
• 定期的に基準点での完全勾配を計算するスナップショット機構を用いて、確率的勾配推定の分散を低減する。
• 進行状況に基づいて適応的に変化するエポック長戦略を導入し、非強い凸設定における収束速度を向上させる。
• 正則化を追加せずに非強い凸目的関数に対する線形収束を確立する、新しい理論的分析フレームワークを提供する。
• PCAにおける個々の成分が非凸であるように、目的関数の構造を活用して和の非凸問題に適用する。
• 強い凸性が欠如する状況を考慮する修正された収束分析を用い、勾配優位性と誤差バウンディングの概念に依存する。

実験結果

リサーチクエスチョン

• RQ1 Lasso やロジスティック回帰のような非強い凸目的関数に対して、人工的正則化を追加せずにSVRGを効果的に適用できるか？
• RQ2 強い凸性が欠如する状況において、SVRGにどのような理論的収束保証を確立できるか？
• RQ3 確率的PCAにおけるように、和の非凸目的関数を扱えるようにSVRGをどのように変更できるか？
• RQ4 非強い凸設定における高速収束を達成するための最適なエポック長とステップサイズは何か？
• RQ5 提案手法は、実世界のデータセットにおいて、SAGA、SDCA、SVRG++といった既存手法と比較してどのように評価されるか？

主な発見

• 提案されたSVRGの変種は、正則化を必要とせず、最良の既知のレートに一致する非強い凸目的関数における線形収束を達成する。
• Ijcnn1 および Mnist などの複数のデータセットにおいて、Lasso、ロジスティック回帰、リッジ回帰において、標準SVRG、SAGA、SDCAを上回る性能を示す。
• Ijcnn1 データセットでは、1例あたり30回未満の勾配評価で、最適値からの訓練損失を10^-11未満にまで低下させた。
• Mnist では、特に σ = 10^-6 のスパース設定におけるLassoにおいて、SVRG++ や SAGA よりも高速な収束を達成した。
• 動的エポック長戦略は、悪条件や非強い凸問題において顕著な性能向上をもたらした。
• 理論的分析により、正則化を施した変種とは異なり、反復回数が増加するにつれて真の最小値に収束することが確認された。