[論文レビュー] A unified convergence bound for conjugate gradient and accelerated gradient

Sahar Karimi, Stephen A. Vavasis|arXiv (Cornell University)|May 1, 2016

Sparse and Compressive Sensing Techniques参考文献 11被引用数 5

ひとこと要約

本稿では、共役勾配（CG）法と加速勾配法の統一された収束解析を提示する。両アルゴリズムにおいて、各反復で $1/(1 + \sqrt{\ell/L})$ の割合で減少する単一のポテンシャル関数を導入することで、収束の統一的扱いが可能となる。主な貢献は、Krylov部分空間の最適性に基づく間接的証明を避けて、線形共役勾配法の $O(\sqrt{L/\ell} \log(1/\epsilon))$ 収束速度に対する直接的証明を提供することにある。

ABSTRACT

Nesterov's accelerated gradient method for minimizing a smooth strongly convex function $f$ is known to reduce $f(\x_k)-f(\x^*)$ by a factor of $\eps\in(0,1)$ after $k\ge O(\sqrt{L/\ell}\log(1/\eps))$ iterations, where $\ell,L$ are the two parameters of smooth strong convexity. Furthermore, it is known that this is the best possible complexity in the function-gradient oracle model of computation. The method of linear conjugate gradients (CG) also satisfies the same complexity bound in the special case of strongly convex quadratic functions, but in this special case it is faster than the accelerated gradient method. Despite similarities in the algorithms and their asymptotic convergence rates, the conventional analyses of the two methods are nearly disjoint. The purpose of this note is provide a single quantity that decreases on every step at the correct rate for both algorithms. Our unified bound is based on a potential similar to the potential in Nesterov's original analysis. As a side benefit of this analysis, we provide a direct proof that conjugate gradient converges in $O(\sqrt{L/\ell}\log(1/\eps))$ iterations. In contrast, the traditional indirect proof first establishes this result for the Chebyshev algorithm, and then relies on optimality of conjugate gradient to show that its iterates are at least as good as Chebyshev iterates. To the best of our knowledge, ours is the first direct proof of the convergence rate of linear conjugate gradient in the literature.

研究の動機と目的

• 共役勾配法と加速勾配法の収束解析を、単一のポテンシャル関数によって統一すること。
• Krylov部分空間の最適性に依存しない、線形共役勾配法の $O(\sqrt{L/\ell} \log(1/\epsilon))$ 収束速度に対する直接的証明を提供すること。
• 新規CG変種における収束の実用的モニタリングを可能にするために、最適速度で単調に減少する測定可能なポテンシャルを導入すること。
• 加速勾配法と同等のグローバル収束保証を持つ、新たな非線形共役勾配法の設計の基盤を築くこと。

提案手法

• 解からの二乗距離と目的関数の残差を組み合わせたポテンシャル関数 $\Psi_k$ を定義し、$\ell/2$ でスケーリングする。
• 再帰関係と強凸性の性質を用いて、CGおよび加速勾配法の両方で $\Psi_{k+1} \leq \Psi_k / (1 + \sqrt{\ell/L})$ を確立する。
• 更新規則の解析と滑らかさ・強凸性パラメータ $L$ と $\ell$ の性質を活用し、ポテンシャルが最適速度で減少することを証明する。
• $k=0$ の場合を別個に取り扱い、$\Psi_1 \leq \Psi_0$ を示して再帰の出発点を確立する。
• ポテンシャルの減少を用いて、両手法の $O(\sqrt{L/\ell} \log(1/\epsilon))$ 収束バウンドを導出する。
• ポテンシャルの安定的減少をモニタリングすることで、新規CG実装における不正確性（例：丸め誤差）の検出に適していることを示す。

実験結果

リサーチクエスチョン

• RQ1 共役勾配法と加速勾配法の両方において、最適速度で減少する単一のポテンシャル関数を構築することは可能か？
• RQ2 Krylov部分空間の最適性に依存しない、線形共役勾配法の $O(\sqrt{L/\ell} \log(1/\epsilon))$ 収束速度に対する直接的証明は存在するか？
• RQ3 この統一されたポテンシャルは、変更済みまたは不正確な共役勾配実装における収束問題の診断に利用可能か？
• RQ4 この統一的解析は、グローバル収束保証を持つ新たな非線形共役勾配法の設計を導くことができるか？

主な発見

• 提案されたポテンシャル $\Psi_k$ は、共役勾配法と加速勾配法の両方において、各反復で $1/(1 + \sqrt{\ell/L})$ の割合で減少する。
• 線形共役勾配法の $O(\sqrt{L/\ell} \log(1/\epsilon))$ 収束速度に対する直接的証明が確立され、Chebyshev や Krylov 最適性に依存しない。
• ポテンシャル $\Psi_k$ により $f(\mathbf{x}_k) - f(\mathbf{x}^*) \leq C_0 (1 + \sqrt{\ell/L})^{-(k-1)}$ が保証され、加速勾配法の既知の最適速度と一致する。
• ポテンシャルは、新規CGアルゴリズムのテストにおいて診断ツールとして利用可能であり、期待される速度で減少しない場合、不正確性や不安定性の兆候を示す。
• この解析は、二次問題において線形CGに還元されるが、加速勾配法の収束特性を継承する新たな非線形CG法の開発の基盤を提供する。