[論文レビュー] Accelerating Nesterov's Method for Strongly Convex Functions with Lipschitz Gradient

Xiangrui Meng, Hao Chen|arXiv (Cornell University)|Sep 27, 2011

Sparse and Compressive Sensing Techniques参考文献 4被引用数 9

ひとこと要約

本稿では、強凸関数に対するNesterovの最適な一次順序法を、反復毎にステップサイズパラメータ $\alpha_k > \sqrt{\rho}$ を動的に増加させることで適応的加速する手法を提案する。ここで $\rho$ は条件数の逆数である。本手法は反復ごとに勾配を最大2回評価し、Nesterovの元々の手法よりも実用的な収束速度が速く、数値実験では滑らか化ベースプルーフ・デノイジング問題において勾配呼び出し回数が最大2.5倍速くなった。

ABSTRACT

We modify Nesterov's constant step gradient method for strongly convex functions with Lipschitz continuous gradient described in Nesterov's book. Nesterov shows that $f(x_k) - f^* \leq L \prod_{i=1}^k (1 - α_k) \| x_0 - x^* \|_2^2$ with $α_k = \sqrtρ$ for all $k$, where $L$ is the Lipschitz gradient constant and $ρ$ is the reciprocal condition number of $f(x)$. Hence the convergence rate is $1-\sqrtρ$. In this work, we try to accelerate Nesterov's method by adaptively searching for an $α_k > \sqrtρ$ at each iteration. The proposed method evaluates the gradient function at most twice per iteration and has some extra Level 1 BLAS operations. Theoretically, in the worst case, it takes the same number of iterations as Nesterov's method does but doubles the gradient calls. However, in practice, the proposed method effectively accelerates the speed of convergence for many problems including a smoothed basis pursuit denoising problem.

研究の動機と目的

• 強凸関数に対するNesterovの最適な一次順序法の実用的収束速度を向上させること。
• Nesterovの手法が最悪ケースの複雑さにおいて最適であるものの、固定ステップサイズパラメータ $\\alpha_k = \sqrt{\rho}$ を使用するため、実際の性能が最適でないという制限を解消すること。
• 理論的保証を維持しながら、適応的ステップサイズ選択によって実効的性能を向上させる実用的加速戦略を開発すること。
• 収束速度と安定性のバランスを取る形で、$\alpha_k > \sqrt{\rho}$ の選択に向けた複数のヒューリスティックを評価・比較すること。

提案手法

• 本手法は、Nesterovの元々の推定列フレームワークを変更し、反復毎に $\alpha_k > \sqrt{\rho}$ を許容することで収束を加速する。
• 各反復で、推定列構造を保ちながら $\alpha_k > \sqrt{\rho}$ を適応的に探索し、収束が維持されることを保証する。
• 本手法は反復ごとに最大2回の勾配評価を実行し、ベクトル更新に追加のLevel 1 BLAS演算を含む。
• 4つのヒューリスティック戦略（慎重型、攻撃的型、ラインサーチベース）が $\alpha_k$ の選択に提案されている。
• $x_k$ と $y_k$ の更新規則は、Nesterovの元々のスキームに従い、理論的基盤を保ちつつ適応的ステップサイズを可能にする。
• 本手法は、実世界のスパース回復タスクとしての滑らか化ベースプルーフ・デノイジング問題に適用され、性能評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 Nesterovの手法における $\alpha_k > \sqrt{\rho}$ の適応的選択は、理論的収束保証を損なわずに実用的収束速度を向上させることができるか？
• RQ2 異なるヒューリスティック戦略による $\alpha_k$ 選択は、異なる問題タイプにおいて収束速度と頑健性の観点でどのように比較できるか？
• RQ3 提案手法は、Nesterovの元々の手法と比較して、所定の精度に到達するための勾配評価回数を削減できるか？
• RQ4 攻撃的なステップサイズ増加を伴う場合でも、適応的手法は安定性を維持し、発散を回避できるか？

主な発見

• 提案手法 $\mathcal{N}_{\mu,L}^{\alpha}$ は、Nesterovの元々の手法 $\mathcal{N}_{\mu,L}$ よりも実用的収束速度が速く、滑らか化ベースプルーフ・デノイジング問題では $f(x_k) - f^* < 10^{-12}$ に到達するまでに勾配呼び出し回数が750回で十分であった。
• Nesterovの元々の手法 $\mathcal{N}_{\mu,L}$ は同様の精度に到達するまでに1300回の勾配呼び出しが必要だった。標準的勾配降下法 $\mathcal{N}_L$ は1900回が必要だった。
• $\mathcal{N}_{\mu,L}^{\alpha}$ の実行時間は約5秒であったのに対し、$\mathcal{N}_{\mu,L}$ は7.5秒、$\mathcal{N}_L$ は11.5秒であった。
• 4つの $\mathcal{N}_{\mu,L}^{\alpha}$ の変種の中で、最初のヒューリスティック（$\mathcal{N}_{\mu,L}^{\alpha,1}$）が最も慎重で、全テスト問題において同等の性能を示し、デフォルト設定として推奨された。
• 理論的最悪ケース収束レートを維持している一方で、適応的ステップサイズ選択のおかげで、Nesterovの手法よりも著しく実用的性能が優れていた。
• $\mathcal{N}_{\mu,L}^{\alpha}$ が得た smooth-BPDN 解は、真のスパース信号のソフトスレッショルド版に非常に近かったため、スパース回復における実用的有用性が示された。