[論文レビュー] An Asynchronous Parallel Randomized Kaczmarz Algorithm

Ji Liu, Stephen J. Wright+1 more|arXiv (Cornell University)|Jan 20, 2014

Stochastic Gradient Optimization Techniques参考文献 27被引用数 44

ひとこと要約

本稿では、大規模なスパース線形方程式系 $Ax = b$ を解くための非同期並列ランダム化カツマルツ（AsyRK）アルゴリズムを提案する。複数のプロセッサが同期をとらずに同時に解ベクトルを更新できるようにすることで、$A^TA$ のシステムサイズおよびスペクトル特性に従う関数で上限が定められたプロセッサ数の範囲内で、ほぼ線形のスループット向上を達成する線形収束を実現し、収束速度において非同期確率的勾配法を上回る。

ABSTRACT

We describe an asynchronous parallel variant of the randomized Kaczmarz (RK) algorithm for solving the linear system $Ax=b$. The analysis shows linear convergence and indicates that nearly linear speedup can be expected if the number of processors is bounded by a multiple of the number of rows in $A$.

研究の動機と目的

• 大規模スパース線形方程式系 $Ax = b$ を解くためのスケーラブルで、同期のオーバーヘッドを最小限に抑えた並列アルゴリズムの開発。
• 現実的な並列実行モデルを想定したランダム化カツマルツ法の非同期版の収束挙動の分析。
• ほぼ線形のスループット向上をもたらすプロセッサ数の最大値に対する理論的境界の確立。
• 非同期アプローチが線形収束を達成し、Hogwild! スタイルの方法の $1/t$ の部分線形収束率を上回ることの実証。

提案手法

• 複数のプロセッサが、協調せずに共有メモリ上で解ベクトル $x$ を更新する非同期的かつロックフリーな更新方式を採用。
• 各プロセッサは、$\|a_i\|^2 / \|A\|_F^2$ 比例確率で行 $i$ を選択し、標準的なカツマルツ更新 $x_{j+1} = x_j - \frac{a_i^T x_j - b_i}{\|a_i\|^2} a_i$ を適用する。
• 更新遅延を、遅延更新の最大年齢 $\tau$ として制限し、共有メモリ並列システムにおける現実の非同期性をモデル化。
• 主な技術的要素として、遅延制約下での収束を保証するためのステップサイズ $\gamma = 1/\psi$ を用い、ここで $\psi = \mu + \frac{2\lambda_{\max}\tau\rho^\tau}{m}$ である。
• 収束証明は、$A^T A$ のスペクトルノルムおよび固有値の境界を用いて、解集合までの距離の期待減少を制限することに依拠する。
• 理論的分析により、収束速度が $\mathbb{E}[\|x_j - x_j^*\|^2] \leq (1 - \frac{\lambda_{\min}\gamma}{m}(2 - \psi\gamma)) \mathbb{E}[\|x_{j-1} - x_{j-1}^*\|^2]$ と表され、$\gamma = 1/\psi$ となることが示された。

実験結果

リサーチクエスチョン

• RQ1 ランダム化カツマルツ法は、同期をとらずに共有メモリ環境で効果的に並列化可能か？
• RQ2 非同期カツマルツ法において、ほぼ線形のスループット向上が得られる最大プロセッサ数は何か？
• RQ3 非同期版は線形収束を達成するか？ また、Hogwild! スタイルの方法の $1/t$ の部分線形収束率と比較してどうか？
• RQ4 更新遅延および古くなった勾配は、非同期カツマルツ法の収束速度にどのように影響するか？
• RQ5 $A^T A$ のスペクトル制約および制限された非同期性を満たすステップサイズルールは導出可能か？

主な発見

• AsyRKアルゴリズムは、制限された非同期性のもとで線形収束を達成し、期待誤差が各ステップで幾何的に減少する。
• 収束速度は $\mathbb{E}[\|x_j - x_j^*\|^2] \leq \left(1 - \frac{\lambda_{\min}}{m(\mu+1)}\right)^j \|x_0 - x_0^*\|^2$ と表され、線形収束を示している。
• プロセッサ数が $O(m / \lambda_{\max})$ の範囲に収まる場合、ほぼ線形のスループット向上が期待される。ここで $m$ は行数、$\lambda_{\max}$ は $A^T A$ の最大固有値である。
• Hogwild! より収束速度が速く、部分線形 $1/t$ の収束率ではなく線形収束を達成している。
• ステップサイズ $\gamma = 1/\psi$ で、$\psi = \mu + \frac{2\lambda_{\max}\tau\rho^\tau}{m}$ とすることで、遅延の影響を精密に分析し、収束を保証する。
• 理論的分析により、期待誤差が遅延および非同期更新下でも単調かつ指数的に速く減少することが確認された。