[論文レビュー] Rows vs Columns for Linear Systems of Equations - Randomized Kaczmarz or Coordinate Descent?

Aaditya Ramdas|arXiv (Cornell University)|Jun 20, 2014

Stochastic Gradient Optimization Techniques参考文献 10被引用数 4

ひとこと要約

この論文は、線形方程式系を解くためのランダム化Kaczmarz（RK）とランダム化座標降下（RCD）の間の深い概念的・アルゴリズム的関係を確立し、RKが確率的勾配降下法ではなくRCDの一種としてより自然に理解されるべきであることを示している。また、グラム行列を形成しないKerne1 Ridge回帰のKaczmarzスタイルのアルゴリズムを導入することで、線形収束保証のもとでスケーラブルなカーネル法を実現している。

ABSTRACT

This paper is about randomized iterative algorithms for solving a linear system of equations $X β= y$ in different settings. Recent interest in the topic was reignited when Strohmer and Vershynin (2009) proved the linear convergence rate of a Randomized Kaczmarz (RK) algorithm that works on the rows of $X$ (data points). Following that, Leventhal and Lewis (2010) proved the linear convergence of a Randomized Coordinate Descent (RCD) algorithm that works on the columns of $X$ (features). The aim of this paper is to simplify our understanding of these two algorithms, establish the direct relationships between them (though RK is often compared to Stochastic Gradient Descent), and examine the algorithmic commonalities or tradeoffs involved with working on rows or columns. We also discuss Kernel Ridge Regression and present a Kaczmarz-style algorithm that works on data points and having the advantage of solving the problem without ever storing or forming the Gram matrix, one of the recognized problems encountered when scaling kernelized methods.

研究の動機と目的

• ランダム化Kaczmarz（RK）とランダム化座標降下（RCD）の概念的関係を明確にし、RKを確率的勾配降下法と見なす一般的な見方を問い直すこと。
• 一貫性／一意解、一貫性／無限解、不一致系の異なるシステム状態下でのRKとRCDの収束挙動を分析すること。
• グラム行列の明示的計算を回避するKaczmarzスタイルのアルゴリズムを、Kerne1 Ridge回帰に開発することで、カーネル法のスケーラビリティを向上させること。
• RKとRCDの収束証明技法を統一し、それらの構造的類似性とアルゴリズム的トレードオフを強調すること。

提案手法

• 両者をそれぞれ行または列のノルムに基づいて更新する反復的手法として解釈することで、RKとRCDを統一的な枠組みで比較する。
• 収束を保証するために、二乗行または列ノルムに比例する確率的選択を適用する。
• データ行列またはカーネル行列の固有値特性を用いて、リッジ回帰およびカーネルリッジ回帰の文脈におけるRKおよびRCDの収束レートを導出する。
• 完全なグラム行列を形成しないで、カーネル評価を用いて双対変数αを更新する、新しいKaczmarzスタイルのアルゴリズムを提案する。
• 双対定式化を採用し、明示的な行列逆行列計算を避けるために、特徴空間におけるカーネル評価を介して更新を行う。
• リッジおよびカーネルリッジ設定下で、RKとRCDの両方の線形収束レートを確立し、正則化されたカーネル行列または共分散行列の最小固有値およびトレースに明示的な依存関係を示す。

実験結果

リサーチクエスチョン

• RQ1 一貫性および不一致線形方程式系を解く際、ランダム化Kaczmarzとランダム化座標降下の収束挙動はどのように比較できるか？
• RQ2 なぜランダム化Kaczmarzは、確率的勾配降下法ではなく、座標降下法の一種としてより自然に解釈されるべきなのか？
• RQ3 グラム行列を形成しないまま線形収束を維持できる、Kerne1 Ridge回帰のKaczmarzスタイルのアルゴリズムを設計できるか？
• RQ4 異なるシステム状態下で、RKとRCDの収束レートおよび解の性質（例：最小ノルム解 vs. 最小二乗解）の主な違いは何か？
• RQ5 行ベースと列ベースの更新の双対性をどのように活用し、より単純かつ解釈可能な収束証明を導出できるか？

主な発見

• システムが一貫的かつ一意解を有する場合、RKとRCDはほぼ同じ線形レートで解に収束し、ほぼ同一の収束証明を示す。
• 一貫的で無限個の解を有するシステムの場合、RKは最小ノルム解に収束するが、RCDは収束しない。このため、このような状況ではRKがより好ましい。
• 不一致系の場合、RCDは最小二乗解に収束するが、RKは収束しない。したがって、残差誤差を最小化することが目的の場合は、RCDが好ましい。
• Kerne1 Ridge回帰におけるRKの収束レートは、(1 - σ_min(K + λI_n) / Tr(K + λI_n))^t で有界であり、正則化されたカーネル行列の最小固有値とトレースに依存する。
• 提案されたKaczmarzスタイルのKerne1 Ridge回帰アルゴリズムは、グラム行列を完全に形成せず、計算コストとストレージコストを削減し、1イテレーションあたりO(n)のコストで線形収束を達成する。
• リッジ回帰におけるRCDの収束レートは (1 - σ_min(Σ + λI_p) / Tr(Σ + λI_p))^t であり、特にn > pまたはp > nの場合にRKとは微妙に異なる固有値依存性を示す。