[論文レビュー] Convergence Rates of Inexact Proximal-Gradient Methods for Convex Optimization

Mark Schmidt, Nicolas Le Roux+1 more|arXiv (Cornell University)|Sep 12, 2011

Sparse and Compressive Sensing Techniques参考文献 39被引用数 266

ひとこと要約

この論文は、勾配および近位作用素の誤差が適切な割合で減少する場合、凸最適化の不正確な近位勾配法が正確な手法と同等の収束速度を維持することを確立している。基本的および加速型の近位勾配アルゴリズムが、誤差を制御する条件下でそれぞれ $O(1/k)$ および $O(1/k^2)$ の収束速度を達成することを証明しており、計算コストの高い近位作用素を伴う非滑らか問題の効率的解法を可能にする。

ABSTRACT

We consider the problem of optimizing the sum of a smooth convex function and a non-smooth convex function using proximal-gradient methods, where an error is present in the calculation of the gradient of the smooth term or in the proximity operator with respect to the non-smooth term. We show that both the basic proximal-gradient method and the accelerated proximal-gradient method achieve the same convergence rate as in the error-free case, provided that the errors decrease at appropriate rates.Using these rates, we perform as well as or better than a carefully chosen fixed error level on a set of structured sparsity problems.

研究の動機と目的

• 勾配または近位作用素の計算に誤差が存在する場合の不正確な近位勾配法の収束挙動を分析すること。
• 凸および強凸問題において、不正確な手法が正確な手法と同等の収束速度を達成するための条件を確立すること。
• 誤差の制御された減少が、構造的スパarsity問題における固定誤差レベルと比較して、同等または優れた性能を達成できることを示すこと。
• 大規模な非滑らか最適化における不正確手法の経験的成功の理論的裏付けを提供すること。

提案手法

• 勾配と近位作用素の計算に有界な誤差 $\|e_k\|$ および $\varepsilon_k$ を含む不正確な近位勾配法を提案する。
• 誤差項を含む再帰的不等式を用いて、最適解からの距離 $\|v_k - x^*\|$ をリャプノフ関数のアプローチで評価する。
• 強収量性の性質 $\|v_k - x^*\|^2 \leq \frac{2\delta_k}{\mu}$ と誤差減少率を用いて、凸および強凸ケースの収束バウンドを導出する。
• 誤差項 $\|e_k\|$ と $\varepsilon_k$ を幾何的減少係数 $\left(1 - \sqrt{\mu/L}\right)^k$ を介して収束速度に結びつける重要な不等式（式21）を導入する。
• 補題1を適用して最適性への距離をバウンドし、初期誤差 $\delta_0$ および $\widehat{A}_k$、$\widehat{B}_k$ を用いた最終的な収束速度を導出する。
• 誤差 $\|e_k\|$ と $\varepsilon_k$ が十分に速く減少する場合、関数値誤差 $f(x_k) - f(x^*)$ が正確な場合と同等の速度で減少することを示す。

実験結果

リサーチクエスチョン

• RQ1 勾配または近位作用素の計算に誤差が存在する場合、不正確な近位勾配法が正確な手法と同等の収束速度を維持できるか？
• RQ2 基本的および加速型手法のそれぞれについて、$O(1/k)$ および $O(1/k^2)$ の収束速度を維持するための勾配および近位作用素誤差の具体的な減少率は何か？
• RQ3 構造的スパarsity問題において、誤差制御戦略は固定誤差レベルと比較して実際どのように性能を発揮するか？
• RQ4 凸および強凸設定の両方において、不正確な手法が正確な手法と同等の理論的収束速度を達成する条件は何か？
• RQ5 理論的誤差バウンドは、非滑らか最適化における不正確近位法の実装をガイドするために実用的に利用可能か？

主な発見

• 適切に減少する勾配および近位作用素誤差の下で、基本的な不正確近位勾配法は凸問題に対して $O(1/k)$ の収束速度を達成する。
• 同じ誤差減少条件下で、加速型不正確近位勾配法は $O(1/k^2)$ の収束速度を達成し、正確な加速手法の最適レートと一致する。
• 強凸問題では、$\|e_k\|$ と $\varepsilon_k$ が誤差項 $\widehat{A}_k$ と $\widehat{B}_k$ が有界に保たれるような割合で減少する限り、収束速度は $\left(1 - \sqrt{\mu/L}\right)^k$ の線形因子を示す。
• 関数値誤差は $f(x_k) - f(x^*) \leq \left(1 - \sqrt{\mu/L}\right)^k \left( \sqrt{2(f(x_0) - f(x^*))} + \widehat{A}_k \sqrt{2/\mu} + \sqrt{\widehat{B}_k} \right)^2$ を満たし、正確な手法と同等の漸近的レートを保証する。
• 経験的結果は、構造的スパarsity問題において、適応的誤差制御が固定誤差レベルを上回ることを示しており、理論的予測を裏付けている。
• 誤差が減少する許容誤差に従って管理される場合、非滑らか正則化子（例：全変動と核ノルム）を伴う問題においても、不正確手法が正確な手法と同等に効率的であることが分析で確認された。