[論文レビュー] SAGA: A Fast Incremental Gradient Method With Support for Non-Strongly Convex Composite Objectives

Aaron Defazio, Francis Bach+1 more|arXiv (Cornell University)|Jul 1, 2014

Sparse and Compressive Sensing Techniques参考文献 17被引用数 928

ひとこと要約

SAGAは、強凸および非強凸な合成問題において、SAG や SVRG よりも高速な収束を達成する、新しいインクリメンタル勾配法である。合成設定におけるプロキシマル作用素のサポートを備え、正則化やステップサイズのチューニングを必要とせず、問題に内在する強凸性に自動的に適応する。

ABSTRACT

In this work we introduce a new optimisation method called SAGA in the spirit of SAG, SDCA, MISO and SVRG, a set of recently proposed incremental gradient algorithms with fast linear convergence rates. SAGA improves on the theory behind SAG and SVRG, with better theoretical convergence rates, and has support for composite objectives where a proximal operator is used on the regulariser. Unlike SDCA, SAGA supports non-strongly convex problems directly, and is adaptive to any inherent strong convexity of the problem. We give experimental results showing the effectiveness of our method.

研究の動機と目的

• SAG や SVRG よりも収束速度が速く、多様性に富んだ既存の手法を凌駕する高速なインクリメンタル勾配法の開発。
• プロキシマル作用素による非微分可能正則化子のサポートにより、L1正則化問題への適用範囲を拡大。
• 人工的な正則化を追加せずに非強凸問題に直接適用可能にし、追加のハイパーパrameterを回避。
• 問題に実際に存在する強凸性に自動的に適応する収束レートを達成し、実用的でより高いロバストネスとパフォーマンスを実現。

提案手法

• SAGAは、各成分関数の過去の勾配値のテーブルを維持し、確率的更新における分散低減を効率的に行う。
• 各反復でランダムにインデックス j が選択され、現在の勾配 ∇f_j(x^k) を用いてテーブルを更新し、補正された勾配推定値を計算する。
• 更新ルールは、現在の勾配、同じ成分の前の勾配、およびすべての過去の勾配の平均を組み合わせ、低分散推定値を形成する。
• 非滑らか正則化子（例：L1）を処理するため、中間更新にプロキシマル作用素を適用し、合成目的関数の最適化を可能にする。
• 強凸の場合のステップサイズは γ = 1/(2(μn + L))、非強凸の場合のステップサイズは γ = 1/(3L) であり、μ に自動的に適応する。
• アルゴリズムは単純かつ効率的で、各成分ごとに1つの勾配のみを保存し、最小限のメモリオーバーヘッドを実現。

実験結果

リサーチクエスチョン

• RQ1 SAG や SVRG よりも高速な収束を達成するが、合成目的関数をサポートする新しいインクリメンタル勾配法を設計可能か？
• RQ2 人工的な正則化を必要とせず、非強凸問題に直接適用可能か？
• RQ3 問題に実際に存在する強凸性の程度に自動的に適応し、実用的収束を改善できるか？
• RQ4 強凸および非強凸設定の両方において、SAGAの理論的収束レートは、SDCA、SAG、SVRG と比較してどのように異なるか？

主な発見

• 強凸の場合、SAGAは線形収束レート (1 - μ/(2(μn + L)))^k を達成し、SAG や SVRG よりも速く、SDCA の2倍以内の性能を示す。
• 非強凸の場合、SAGAは平均反復に対して O(1/k) の収束レートを達成し、ステップサイズ γ = 1/(3L) 時に、既知の最良レートと一致する。
• SAGAは、問題に実際に存在する強凸性 μ > 0 に自動的に適応し、μ を入力とせずとも (1 - min{1/(4n), μ/(3L)})^k のレートを達成する。
• SAGAはプロキシマル作用素によるサポートにより、L1正則化問題（例：Lasso）の効率的最適化を可能にする。
• 実験結果では、Finito や SDCA と同等の性能を示し、特にステップサイズの適応的チューニングがない場合、初期反復で SAG を上回る。
• 再キャリブレーションパスや追加のハイパーパrameterが不要であるため、非強凸設定において SVRG や SAG よりも実用的である。