[論文レビュー] Rows vs. Columns: Randomized Kaczmarz or Gauss-Seidel for Ridge Regression

Ahmed Hefny, Deanna Needell+1 more|arXiv (Cornell University)|Jul 21, 2015

Sparse and Compressive Sensing Techniques参考文献 23被引用数 6

ひとこと要約

本稿では、リッジ回帰に対するランダム化カツマルツ（RK）およびランダム化ガウス・ザイデル（RGS）法の変種を提案し、分析している。m > n（過決定系）の場合はRGSが最適であり、n > m（未定義系）の場合はRKが最適であることを示している。また、従来の増強手法として提案された行と列の更新を併用する方法は、効果のない反復が生じるため、厳密に劣っていることを証明している。

ABSTRACT

The Kaczmarz and Gauss-Seidel methods aim to solve a linear $m imes n$ system $\boldsymbol{X} \boldsymbolβ = \boldsymbol{y}$ by iteratively refining the solution estimate; the former uses random rows of $\boldsymbol{X}$ {to update $\boldsymbolβ$ given the corresponding equations} and the latter uses random columns of $\boldsymbol{X}$ {to update corresponding coordinates in $\boldsymbolβ$}. Interest in these methods was recently revitalized by a proof of Strohmer and Vershynin showing linear convergence in expectation for a extit{randomized} Kaczmarz method variant (RK), and a similar result for the randomized Gauss-Seidel algorithm (RGS) was later proved by Lewis and Leventhal. Recent work unified the analysis of these algorithms for the overcomplete and undercomplete systems, showing convergence to the ordinary least squares (OLS) solution and the minimum Euclidean norm solution respectively. This paper considers the natural follow-up to the OLS problem, ridge regression, which solves $(\boldsymbol{X}^* \boldsymbol{X} + λ\boldsymbol{I}) \boldsymbolβ = \boldsymbol{X}^* \boldsymbol{y}$. We present particular variants of RK and RGS for solving this system and derive their convergence rates. We compare these to a recent proposal by Ivanov and Zhdanov to solve this system, that can be interpreted as randomly sampling both rows and columns, which we argue is often suboptimal. Instead, we claim that one should always use RGS (columns) when $m > n$ and RK (rows) when $m < n$. This difference in behavior is simply related to the minimum eigenvalue of two related positive semidefinite matrices, $\boldsymbol{X}^* \boldsymbol{X} + λ\boldsymbol{I}_n$ and $\boldsymbol{X} \boldsymbol{X}^* + λ\boldsymbol{I}_m$ when $m > n$ or $m < n$.

研究の動機と目的

• 通常最小二乗法におけるランダム化カツマルツ（RK）およびランダム化ガウス・ザイデル（RGS）法の分析を、リッジ回帰へと拡張すること。
• システムが過決定または未定義の性質を示すに従い、行ベース（RK）と列ベース（RGS）の更新の最適な選択を特定すること。
• 最近提案された行と列の更新を併用する手法（Ivanov-Zhdanov）が、効果のない反復のため、厳密に劣っていることを実証すること。
• リッジ回帰におけるRKおよびRGSの変種の収束速度分析を提供し、条件数に依存する特徴を強調すること。
• 理論的および実験的妥当性に基づき、m > n の場合はRGSを、n > m の場合はRKを用いるべきであることを確立すること。

提案手法

• リッジ回帰を線形方程式系として定式化し、双対またはプライマル系におけるランダム化座標降下法としてRKおよびRGSの変種を導出する。
• 双対定式化を用いて、リッジ回帰を行列 (X^*X + λI) を含む方程式系の解法として表現し、双対変数にRKおよびRGSを適用可能にする。
• 期待値における収束速度を分析し、X^*X + λI の条件数および最小特異値 σ_min に依存する境界を導出する。
• 次元に応じて更新を選び分ける新しいアルゴリズムフレームワークを導入：m > n の場合はRGS、n > m の場合はRK。
• Ivanov-Zhdanovの増強投影法（行と列の更新を併用）と比較し、効果のない反復により性能が劣ることを示す。
• 数値実験を通じて理論的収束速度および次元に応じた選択（m > n ではRGS、n > m ではRK）の優位性を検証する。

実験結果

リサーチクエスチョン

• RQ1 過決定系（m > n）および未定義系（n > m）のリッジ回帰において、どのランダム化反復手法（RK または RGS）がより速い収束を達成するか？
• RQ2 リッジ回帰におけるRKおよびRGSの変種の収束速度は、設計行列の条件数および特異値にどのように依存するか？
• RQ3 行と列の更新を併用するIvanov-Zhdanovの増強投影法は、なぜ実際には厳密に劣っているのか？
• RQ4 システムの次元に応じて最適な更新戦略（行または列）を選択する統一されたフレームワークを確立できるか？
• RQ5 初期化の影響は、リッジ回帰におけるRKおよびRGSの収束挙動にどのように現れるか？

主な発見

• m > n（過決定系）の場合は、ランダム化ガウス・ザイデル（RGS）法がより速く収束し、最適である。一方、ランダム化カツマルツ（RK）法は性能が著しく劣る。
• n > m（未定義系）の場合は、ランダム化カツマルツ（RK）法が最適であり、無限個の解が存在するためRGS法は解の回復が著しく劣る。
• 行と列の更新を併用するIvanov-Zhdanovの増強投影法は、多くの反復が進展をもたらさないため、厳密に劣っている。
• 本稿で提案する手法（m > n ではRGS、n > m ではRKを選択）は、期待値における線形収束を達成し、理論的境界と一致する条件数依存性を示す。
• 数値実験により、m > n の場合にRGSがRKを上回り、n > m の場合にRKがRGSを上回ることが確認され、理論的予測が妥当であることが裏付けられた。
• 提案手法の収束速度は σ_min および X^*X + λI の条件数に依存し、σ_min が大きく、条件数が小さい場合に収束が速くなる。