[論文レビュー] Gradient methods for convex minimization: better rates under weaker conditions

Hui Zhang, Wotao Yin|arXiv (Cornell University)|Mar 19, 2013

Sparse and Compressive Sensing Techniques参考文献 10被引用数 50

ひとこと要約

この論文は、勾配法の収束速度を、標準的な仮定を緩和することで向上させる。グローバルな勾配のリプシッツ連続性やグローバルな強い凸性の代わりに、反復点からその勾配ステップまでの特定の線分上でのこれらの性質が成り立つと仮定する。このより弱い条件下で、通常の勾配降下法に対して$O(R/\theta)$、加速法に対して$O(\sqrt{R/\theta})$の改善された複雑度バウンドを確立し、制限付きセカント条件の下でさらなる改善が得られる。

ABSTRACT

The convergence behavior of gradient methods for minimizing convex differentiable functions is one of the core questions in convex optimization. This paper shows that their well-known complexities can be achieved under conditions weaker than the commonly accepted ones. We relax the common gradient Lipschitz-continuity condition and strong convexity condition to ones that hold only over certain line segments. Specifically, we establish complexities $O(\frac{R}ε)$ and $O(\sqrt{\frac{R}ε})$ for the ordinary and accelerate gradient methods, respectively, assuming that $ abla f$ is Lipschitz continuous with constant $R$ over the line segment joining $x$ and $x-\frac{1}{R} abla f$ for each $x\in\dom f$. Then we improve them to $O(\frac{R}ν\log(\frac{1}ε))$ and $O(\sqrt{\frac{R}ν}\log(\frac{1}ε))$ for function $f$ that also satisfies the secant inequality $\ < abla f(x), x- x^*\ > \ge ν\|x-x^*\|^2$ for each $x\in \dom f$ and its projection $x^*$ to the minimizer set of $f$. The secant condition is also shown to be necessary for the geometric decay of solution error. Not only are the relaxed conditions met by more functions, the restrictions give smaller $R$ and larger $ν$ than they are without the restrictions and thus lead to better complexity bounds. We apply these results to sparse optimization and demonstrate a faster algorithm.

研究の動機と目的

• 勾配法の凸最適化における収束速度保証を、勾配とヘッセ行列に関する標準的なグローバル仮定を緩和することで改善すること。
• 従来、グローバルなリプシッツ連続性や強い凸性の下でのみ知られていた、非線形および線形収束速度が、より弱い局所的条件のもとでも達成可能であることを示すこと。
• 制限付きリプシッツ連続性およびセカント条件が、定数$R$を小さく、$\nu$を大きくすることにより、グローバル仮定よりも良い複雑度バウンドをもたらすことを示すこと。
• 特定の探索方向に沿った局所的勾配挙動のみを用いて、よりタイトな収束推定を可能にする新しい解析フレームワークを構築すること。
• スパース最適化への応用を通じて、リスタートおよびスキップ技術を組み合わせることで、実用的性能が向上することを示すこと。

提案手法

• 反復点$x$と$x - \frac{1}{R}\nabla f(x)$を結ぶ線分上でのみ勾配がリプシッツ連続であるという、制限付きリプシッツ連続性条件を導入する。
• 解集合への射影$x^*$を用いて、セカント不等式$\langle \nabla f(x), x - x^* \rangle \geq \nu \|x - x^*\|^2$を用いた、制限付き強い凸性条件を提案する。
• これらの制限付き条件の下で通常の勾配降下法と加速勾配法の収束速度を解析し、エネルギー関数と再帰不等式の技法を用いて収束レートを導出する。
• 変数$h$とステップサイズパラメータ$\theta$を用いた新規な再帰解析により、解集合への距離をバウンドし、収縮係数を最小化する。
• 誤差低減係数の二次バウンドを最小化することで、$\theta$および$h$の最適値を導出し、タイトな複雑度推定を達成する。
• リスタートおよびスキップ技術を組み合わせることで、スパース最適化に理論を応用し、新しい条件下での実用的性能向上を示す。

実験結果

リサーチクエスチョン

• RQ1 通常の勾配降下法が$O(R/\epsilon)$の非線形収束速度を達成できるか、グローバルな勾配リプシッツ連続性を仮定しないで。
• RQ2 加速勾配法が、グローバル$L$-リプシッツ連続性よりも弱い勾配連続性仮定のもとで$O(\sqrt{R/\epsilon})$の複雑度を達成できるか。
• RQ3 パラメータ$\nu$を用いた制限付きセカント条件$\langle \nabla f(x), x - x^* \rangle \geq \nu \|x - x^*\|^2$が幾何的収束をもたらし、複雑度バウンドを改善するか。
• RQ4 制限付きリプシッツ条件は、観察された収束速度に対して必要か十分か。グローバル仮定と比べてどう異なるか。
• RQ5 新しい条件が、リスタートおよびスキップ技術を用いることで、スパース最適化においてより高速な実用的アルゴリズムをもたらすか。

主な発見

• 通常の勾配降下法は、$x$から$x - \frac{1}{R}\nabla f(x)$への線分上での局所的リプシッツ定数$R$を仮定した制限付きリプシッツ条件のもとで、$O(R/\epsilon)$の反復複雑度を達成する。
• 加速勾配法も同様の制限付きリプシッツ条件のもとで$O(\sqrt{R/\epsilon})$の複雑度を達成し、標準的な$O(\sqrt{L/\epsilon})$のバウンドを改善する。
• 追加で制限付きセカント条件（パラメータ$\nu$）を仮定すると、通常の勾配法では$O\left(\frac{R}{\nu}\log\frac{1}{\epsilon}\right)$、加速法では$O\left(\sqrt{\frac{R}{\nu}}\log\frac{1}{\epsilon}\right)$の複雑度に改善される。
• セカント条件が解の誤差の幾何的減衰に必要であることが示され、線形収束速度の実現に不可欠であることが判明した。
• 制限付き仮定はしばしばグローバル仮定よりも小さい$R$と大きな$\nu$をもたらし、実用的にはより良い複雑度バウンドをもたらす。
• 解析により、事前に$R$を知らずに同じ複雑度を達成できるバックトラッキングラインサーチ法が可能となり、リスタートおよびスキップ技術を用いたスパース最適化においてより高速なアルゴリズムが実現可能である。