[論文レビュー] Linear Convergence of the Proximal Incremental Aggregated Gradient Method under Quadratic Growth Condition

Huigang Zhang|arXiv (Cornell University)|Feb 27, 2017

Sparse and Compressive Sensing Techniques参考文献 13被引用数 3

ひとこと要約

本稿は、強い凸性仮定よりも弱い二次成長条件の下で、Proximal Incremental Aggregated Gradient (PIAG) 法のグローバル線形収束を確立している。関数値と反復誤差を同時に追跡する新しいリャプノフ関数を構築することで、関数値と解集合への反復誤差の両方において線形収束レートを証明し、条件数と遅延パラメータに明示的な依存関係を持つ。

ABSTRACT

Under the strongly convex assumption, several recent works studied the global linear convergence rate of the proximal incremental aggregated gradient (PIAG) method for minimizing the sum of a large number of smooth component functions and a non-smooth convex function. In this paper, under extsl{the quadratic growth condition}--a strictly weaker condition than the strongly convex assumption, we derive a new global linear convergence rate result, which implies that the PIAG method attains global linear convergence rates in both the function value and iterate point errors. The main idea behind is to construct a certain Lyapunov function.

研究の動機と目的

• 二次成長条件の下でPIAG法のグローバル線形収束を確立すること。これは強い凸性よりも弱い代替仮定である。
• 従来の収束結果が強い凸性に依存していたのを、強い凸性を満たさないより広範な問題クラスへと拡張すること。
• 単一のリャプノフ関数を用いて、関数値と反復誤差の収束を統一的に分析すること。
• 条件数と遅延パラメータに依存する明示的な線形収束レートを導出すること。これは先行研究と整合的である。

提案手法

• 関数値誤差と解集合への二乗距離を組み合わせた、新しいリャプノフ関数を構築する。
• 関数値誤差項と反復誤差項の重み付き和を用いて、合成ポテンシャル関数を形成する。
• プロキシマルステップ誤差のパrameter化された分解を用い、勾配遅延を含む項を分離・有界化する。
• リャプノフ関数に関する再帰的不等式を導出し、遅延勾配からの摂動項を組み込む。
• 離散リャプノフ補題を適用し、ステップサイズの条件の下でポテンシャル関数の線形減衰を確立する。
• ベルヌーイの不等式と代数的変形を用いて、条件数と遅延に依存する最終的な線形収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 二次成長条件（強い凸性よりも厳密に弱い）の下で、PIAG法がグローバル線形収束を達成できるか？
• RQ2 1つのリャプノフ関数が、関数値誤差と反復誤差の両方の収束を同時に捉えることができるか？
• RQ3 線形収束レートが条件数と遅延パラメータにどのように依存するか？
• RQ4 強い凸性下での先行結果と比較して、収束レートはどのように異なるか？
• RQ5 過度に複雑な仮定を避けることで、先行研究と比較して分析を単純化できるか？

主な発見

• 二次成長条件の下で、PIAG法は関数値誤差および解集合への反復距離の両方においてグローバル線形収束を達成する。
• 収束レートは線形であり、条件数に線形に依存し、遅延パラメータに二次的に依存する。
• レートは明示的に $ 1 - \frac{\alpha\beta}{1 + \alpha\beta} $ で有界であり、ここで $ \alpha $ はステップサイズ、$ \beta $ は二次成長パラメータである。
• 遅延 $ \tau < 47 $ の場合、強い凸性下での先行研究で得られた最良の結果が回復される。
• 分析により、関数値と反復誤差の関係が、導出された境界を越えて収束レートを改善できないことが明らかになった。
• 最終的な収束レートは $ \Psi(x_k) \leq \left(1 - \frac{1}{\eta(\tau+2)(\tau+1)}\right)^k \Psi(x_0) $ として示され、ここで $ \eta = \frac{L}{\beta} $ である。