[論文レビュー] Convergence properties of the randomized extended Gauss-Seidel and Kaczmarz methods

Anna Ma, Deanna Needell+1 more|arXiv (Cornell University)|Mar 27, 2015

Stochastic Gradient Optimization Techniques参考文献 23被引用数 9

ひとこと要約

本稿では、確率的カツマルツ（RK）法と確率的ガウス＝ザイデル（RGS）法の統一的理論的枠組みを提示し、劣決定系における最小ノルム解への線形収束を保証するため、確率的拡張ガウス＝ザイデル（REGS）アルゴリズムを導入する。標準的なRGSは劣決定系で収束しないが、REGSは期待値における線形収束を示し、過決定／不整合、過決定／整合、劣決定のすべての設定において両手法の理論的完成図を描く。

ABSTRACT

The Kaczmarz and Gauss-Seidel methods both solve a linear system $\bf{X}\bfβ = \bf{y}$ by iteratively refining the solution estimate. Recent interest in these methods has been sparked by a proof of Strohmer and Vershynin which shows the randomized Kaczmarz method converges linearly in expectation to the solution. Lewis and Leventhal then proved a similar result for the randomized Gauss-Seidel algorithm. However, the behavior of both methods depends heavily on whether the system is under or overdetermined, and whether it is consistent or not. Here we provide a unified theory of both methods, their variants for these different settings, and draw connections between both approaches. In doing so, we also provide a proof that an extended version of randomized Gauss-Seidel converges linearly to the least norm solution in the underdetermined case (where the usual randomized Gauss Seidel fails to converge). We detail analytically and empirically the convergence properties of both methods and their extended variants in all possible system settings. With this result, a complete and rigorous theory of both methods is furnished.

研究の動機と目的

• すべてのシステムタイプ（過決定／不整合、過決定／整合、劣決定）における確率的カツマルツ法とガウス＝ザイデル法の完全な理論的枠組みの欠如を解消すること。
• 標準的なRGSが劣決定系で最小ノルム解に収束しないこと（望ましい解から逸脱する）という問題を解決すること。
• 劣決定系設定において最小ノルム解に線形収束する拡張版RGS—確率的拡張ガウス＝ザイデル（REGS）—の開発と分析を行うこと。
• 過決定／整合、過決定／不整合、劣決定のすべてのシステム設定において、RK、RGS、REK、REGSの類似性を分析し、統一された収束理論を確立すること。
• 理論的収束バウンドのタイトさを実験的に検証し、既存手法と比較してREGSの実用的有効性を示すこと。

提案手法

• 標準的なRGS法の拡張として、劣決定系における最小ノルム解への収束を目的とした確率的拡張ガウス＝ザイデル（REGS）アルゴリズムを提案する。
• RGSの確率的座標降下フレームワークを拡張し、反復ごとに残差情報を追跡する双対更新メカニズムを導入する。これは、RKがREKに拡張されるのと同様の仕組みである。
• 各反復で行列 $\mathbf{X}$ のランダムな列を選び、それに対応する座標方向に残差を最小化するように解の推定値 $\boldsymbol{\beta}$ を更新する確率的行／列選択戦略を採用する。
• 制約条件を満たしつつ $\|\boldsymbol{\beta}\|_2^2$ を最小化するように、射影に基づく更新ルールを採用する。これは劣決定系における場合に有効である。
• 期待値における $\ell_2$-誤差 $\|\boldsymbol{\beta}_t^{LN} - \boldsymbol{\beta}_{LN}\|_2^2$ の理論的上界を導出し、期待値における線形収束を証明する。
• 過決定／整合、過決定／不整合、劣決定の3つの代表的設定において、RK、RGS、REK、REGSの性能を分析し、それらの収束行動の類似性を確立する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な確率的ガウス＝ザイデル（RGS）法は、過決定系では最小二乗解に収束するが、劣決定系では最小ノルム解に収束しないのか？
• RQ2 過決定不整合系で成功を収めた拡張カツマルツ（REK）と同様に、劣決定系で最小ノルム解に線形収束するRGSの拡張版を構築可能か？
• RQ3 提案されたREGSアルゴリズムの理論的収束速度は何か？ また、異なるシステム設定において既存手法と比較してどうなるか？
• RQ4 REGSの理論的収束バウンドは、シミュレーションにおける実効的性能と比べてどの程度タイトか？ 特に収束のタイトさと実用的スピードの観点から。
• RQ5 カツマルツ法とガウス＝ザイデル法の構造的・アルゴリズム的類似性は何か？ そして、これらを1つの理論的枠組みに統一できるか？

主な発見

• 標準的な確率的ガウス＝ザイデル（RGS）法は、過決定／整合および過決定／不整合系では期待値において線形収束するが、劣決定系では最小ノルム解に収束しない。
• 提案された確率的拡張ガウス＝ザイデル（REGS）アルゴリズムは、劣決定系において最小ノルム解 $\boldsymbol{\beta}_{LN}$ に期待値で線形収束する。これは定理1で形式的に証明されている。
• REGSは理論的上界による期待値 $\ell_2$-誤差に一致する収束レートを達成しており、理論的バウンドがタイトであることを示している。
• シミュレーションでは、REGSは拡張カツマルツ（REK）と同等の収束速度を示した。一方、RKとRGSは、同じ誤差閾値に達するまでの反復回数において、それぞれの拡張版を上回る速度で収束した。
• 劣決定系では、RKは最小ノルム解に収束するが、RGSは収束しない。これは両手法の相補的性を示しており、最小ノルム解の一貫的回復にはREGSの必要性を強調している。
• 合成問題およびトモグラフィー問題（例：$700 \times 1000$ 行列）における実験結果から、REGSが高速に収束することが確認され、実際には理論的最悪ケースのバウンドを上回ることも多かった。