[論文レビュー] An Accelerated Randomized Kaczmarz Algorithm

Ji Liu, Stephen J. Wright|arXiv (Cornell University)|Oct 10, 2013

Stochastic Gradient Optimization Techniques参考文献 11被引用数 9

ひとこと要約

この論文は、滑らかでない線形系において、標準的なランダム化Kaczmarz（RK）法よりも収束速度を向上させる加速されたランダム化Kaczmarz（ARK）アルゴリズムを提案する。Nesterovの加速技術を組み込むことで、ARKはより速い線形収束を達成する。スパース版であるSARKは、更新のキャッシュによりスパース行列の効率を維持し、非ゼロ密度が低いスパース設定においてRKやARKを上回る性能を発揮する。

ABSTRACT

The randomized Kaczmarz ($\RK$) algorithm is a simple but powerful approach for solving consistent linear systems $Ax=b$. This paper proposes an accelerated randomized Kaczmarz ($\ARK$) algorithm with better convergence than the standard $\RK$ algorithm on ill conditioned problems. The per-iteration cost of $\RK$ and $\ARK$ are similar if $A$ is dense, but $\RK$ is much more able to exploit sparsity in $A$ than is $\ARK$. To deal with the sparse case, an efficient implementation for $\ARK$, called $\SARK$, is proposed. A comparison of convergence rates and average per-iteration complexities among $\RK$, $\ARK$, and $\SARK$ is given, taking into account different levels of sparseness and conditioning. Comparisons with the leading deterministic algorithm --- conjugate gradient applied to the normal equations --- are also given. Finally, the analysis is validated via computational testing.

研究の動機と目的

• 滑らかでない線形系において、ランダム化Kaczmarz（RK）アルゴリズムの収束が遅い問題に対処すること。
• Nesterovの加速技術を活用して収束速度を向上させる加速版、ARKを開発すること。
• スパース行列の計算効率を維持するARのスパース最適化版SARKを設計すること。
• スパース性および条件数の変動に応じたRK、ARK、SARKの理論的・実験的比較を提供すること。
• 密度が高く滑らかでない系において、ARKおよびSARKを共役勾配（CG）法と比較してベンチマークすること。

提案手法

• Nesterovの加速フレームワークをランダム化Kaczmarz更新則に適用し、ARKアルゴリズムを導出する。
• 現在の反復と直前の反復を組み合わせるモーメンタムに基づく更新戦略を用い、収束を加速する。
• ARKの更新をキャッシュすることでスパース性を保持し、スパース行列における1反復あたりのコストを低減するSARKを導入する。
• 理論的解析においては、収束証明を簡略化するために、行の正規化（‖a_i‖₂ = 1）を用いるが、実装上は必須ではない。
• AᵀAの最小固有値と最大固有値に基づく理論的収束レートを導出する。特にλ_minと幾何平均√(λ_min λ_max)に注目する。
• 操作回数と反復回数を用いて性能をキャリブレーションし、CGの反復あたりn回の操作にスケーリングすることで、公平な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 Nesterovの加速は、滑らかでない線形系におけるランダム化Kaczmarzアルゴリズムの収束速度をどのように向上させるか？
• RQ2 ランダム化Kaczmarz法に加速を適用する際の、収束速度と計算コストのトレードオフは何か？
• RQ3 行列Aのスパース性が、ARKおよびそのスパース版SARKの性能に与える影響は何か？ これに対して、標準的なRKとはどのように異なるか？
• RQ4 どのような状況下で、ARKまたはSARKが密度が高く滑らかでない系において共役勾配法を上回るか？
• RQ5 初期にCGの反復を実行し、その後ARKまたはRKのステップに切り替えるハイブリッド戦略は、優れた性能を発揮するか？

主な発見

• 滑らかでない問題において、ARKは特に√(λ_min λ_max)が小さい場合にRKよりも速い線形収束を達成する。
• スパース行列でδ = 0.01の場合、ARKの1反復あたりのコストがO(n)であるため、操作回数の観点ではRKがARKおよびSARKを上回る。
• SARKは平均して1反復あたりO(√δ n)のコストを達成し、非ゼロ密度が低いスパース問題において、3者の中で最も効率的である。
• 密度が高く滑らかでない系（m = n）において、ARKは後期の反復でCGと同等の性能を示し、高精度が求められる状況ではARKがより高い精度を達成する。
• CGはグローバル情報へのアクセスにより初期段階で速やかに収束するが、ARKは安定的で予測可能な収束を維持し、理論的予測とよく一致する。
• 初期にCGを実行し、その後ARKに切り替えるハイブリッド戦略は効果的であり、速やかな初期収束と高精度な最終的収束を両立する。