[論文レビュー] A Randomized Asynchronous Linear Solver with Provable Convergence Rate

Haim Avron, Alex Druinsky+1 more|arXiv (Cornell University)|Apr 24, 2013

Stochastic Gradient Optimization Techniques参考文献 11被引用数 2

ひとこと要約

本稿では、一般の対称正定値行列を対象とした確率的で共有メモリ型の非同期線形ソルバを提案する。プロセッサ数が行列のサイズおよびスパarsityに対して著しく多くない限り、同期型ソルバに近い収束速度を達成する線形収束を実現する。確率的処理により、同期処理を必要とせず進行を保証し、収束速度の明示的で証明可能な境界を保証する。

ABSTRACT

Asynchronous methods for solving systems of linear equations have been researched since Chazan and Miranker published their pioneering paper on chaotic relaxation in 1969. The underlying idea of asynchronous methods is to avoid processor idle time by allowing the processors to continue to work and make progress even if not all progress made by other processors has been communicated to them. Historically, work on asynchronous methods for solving linear equations focused on proving convergence in the limit. How the rate of convergence compares to the rate of convergence of the synchronous counterparts, and how it scales when the number of processors increase, was seldom studied and is still not well understood. Furthermore, the applicability of these methods was limited to restricted classes of matrices (e.g., diagonally dominant matrices). We propose a shared-memory asynchronous method for general symmetric positive definite matrices. We rigorously analyze the convergence rate and prove that it is linear and close to that of our method’s synchronous counterpart as long as not too many processors are used (relative to the size and sparsity of the matrix). A key component is randomization, which allows the processors to make guaranteed progress without introducing synchronization. Our analysis shows a convergence rate that is linear in the condition number of the matrix, and depends on the number of processors and the degree to which the matrix is sparse.

研究の動機と目的

• 非同期線形ソルバにおいて収束速度の分析が不足していること、特に一般の対称正定値行列に対してその分析が不十分であることに対処すること。
• 従来の手法が対角優勢行列などの特定の行列クラスに限定されていたという制限を克服すること。
• プロセッサ間の同期を必要とせず、高速な収束を維持する非同期ソルバを設計すること。
• 収束速度がプロセッサ数および行列のスパarsityにどのようにスケーリングするかを厳密に分析すること。
• 適切なプロセッサ数の範囲で、同期型ソルバに近い収束速度の理論的基盤を確立すること。

提案手法

• プロセッサが他のプロセッサの待機をせずに変数を更新できるように確率的処理を用いることで、同期処理の必要性を排除し、進行を保証する。
• 変数の更新対象を確率的に選択する非同期ガウス＝ザイデル型更新ルールを採用する。
• 共有メモリアーキテクチャを想定しており、アトミック演算を用いて共有データ構造への同時アクセスを可能にする。
• 収束解析は、対称正定値行列の性質を用いて、1反復あたりの誤差の期待値の減少をバウンディングすることに依存する。
• 収束速度の境界に行列のスパarsityおよび条件数を組み込み、これらの構造的特性に依存することを示す。
• 主な理論的貢献として、プロセッサ数が行列サイズおよびスパarsityに対して小さい場合には、同期型ソルバの収束速度に近づく線形収束を証明することである。

実験結果

リサーチクエスチョン

• RQ1 一般の対称正定値行列に対して、非同期線形ソルバの収束速度は同期型ソルバと比べてどの程度か？
• RQ2 同期処理が存在しない非同期ソルバにおいて、プロセッサ数の増加が収束速度に与える影響は何か？
• RQ3 非同期線形ソルバにおいて、同期処理なしに進行と収束を保証するために確率的処理を用いることは可能か？
• RQ4 行列のスパarsityおよび条件数は、非同期ソルバの収束速度にどのように影響するか？
• RQ5 収束の極限でのみ保証されるのではなく、非同期手法の収束速度にどのような理論的境界を確立できるか？

主な発見

• 提案された非同期ソルバは、プロセッサ数が行列サイズおよびスパarsityに対して著しく多くない限り、同期型ソルバに近い収束速度を示す線形収束を達成する。
• 収束速度は行列の条件数に線形に依存しており、これは解の摂動に対する感度を定量化する。
• この手法の収束速度はプロセッサ数に影響を受けるが、その数が閾値を超えると劣化が生じる。
• 確率的処理により、同期処理を必要とせず、進行を保証でき、無駄な待機時間を回避し、効率的なスケーリングが可能になる。
• 理論的解析により、行列のスパarsityに伴い収束速度が有利にスケーリングすることが示され、スパース系において優れた性能を示すことがわかった。
• この手法は一般の対称正定値行列に適用可能であり、従来の研究で対象とされていた制限付きクラスを越える。