[論文レビュー] Parallel algorithms in linear algebra

Richard P. Brent|arXiv (Cornell University)|Apr 30, 2010

Parallel Computing and Optimization Techniques参考文献 55被引用数 13

ひとこと要約

本稿では、分散メモリMIMDアーキテクチャ上での基本的線形代数問題—特にガウスの消去法、QR分解、特異値分解（SVD）—に対する並列アルゴリズムを提示する。通信効率、負荷分散、スケーラビリティに重点を置き、問題サイズがプロセッサ数に比例して増大する場合に線形スループットが達成可能であることを示し、仮想プロセッサとデータ分散戦略を用いて安定的かつスケーラブルな解決策を提示する。

ABSTRACT

This report provides an introduction to algorithms for fundamental linear algebra problems on various parallel computer architectures, with the emphasis on distributed-memory MIMD machines. To illustrate the basic concepts and key issues, we consider the problem of parallel solution of a nonsingular linear system by Gaussian elimination with partial pivoting. This problem has come to be regarded as a benchmark for the performance of parallel machines. We consider its appropriateness as a benchmark, its communication requirements, and schemes for data distribution to facilitate communication and load balancing. In addition, we describe some parallel algorithms for orthogonal (QR) factorization and the singular value decomposition (SVD).

研究の動機と目的

• 分散メモリMIMDマシン上でのコア線形代数問題に対する効率的でスケーラブルな並列アルゴリズムを設計する挑戦に応えること。
• 部分ピボットを用いたガウスの消去法を並列マシンのベンチマークとして評価し、通信と負荷分散の要件を分析すること。
• ピボットを避けることで数値的不安定性を回避するための代替安定手法（QRおよびSVD）を、ヘステネスおよびヤコビ型アルゴリズムを用いて探求すること。
• 問題サイズのスケーリングが、内在的な逐次的部品を有するにもかかわらず線形スループットを可能にする仕組みを、スケーラブルな問題成長を伴うアムダールの法則を用いて解明すること。
• 仮想プロセッサとシステリックアレイマッピングを用いたSVDおよび固有値問題の実用的アルゴリズム設計を提供すること。

提案手法

• 物理的プロセッサの制限から独立したアルゴリズム設計を可能にするために、仮想プロセッサを用いる。
• ブロック、散在、またはカラムラップ形式のデータ分散戦略を適用し、プロセッサ間通信を最小限に抑え、負荷を均衡化する。
• ガウスの消去法に部分ピボットを用いることをベンチマークとして採用し、分散システム上での通信オーバーヘッドとスケーラビリティを分析する。
• ピボットを回避しながらも数値的に安定な代替手段としてQR分解を提案し、浮動小数点演算の数を定数倍増加させる。
• ヘステネスおよびヤコビ法をSVDおよび対称固有値問題に適応し、直交変換と並列スイープを用いる。
• SVDの $\pi_m A \pi_n^{-1}$ は $A$ のSVDと等価であるという性質を用い、一般性を失わずブロックまたは再配置されたデータレイアウトを正当化する。

実験結果

リサーチクエスチョン

• RQ1 部分ピボットを用いたガウスの消去法は、分散メモリ並列マシンのスケーラブルで代表的なベンチマークとして機能できるか？
• RQ2 並列線形代数アルゴリズムにおけるオーバーヘッドを最小限に抑えるために、データ分散および通信パターンをどのように最適化できるか？
• RQ3 ガウスの消去法においてピボットを避ける場合、数値的安定性と計算効率の間にはどのようなトレードオフがあるか？
• RQ4 問題サイズがプロセッサ数に比例して増大する場合、並列SVDおよび固有値アルゴリズムは線形スループットを達成できるか？
• RQ5 従来の逐次アルゴリズム（例：QRベースのSVD）は、システリックアレイや共有メモリMIMDアーキテクチャのような並列アーキテクチャに、どの程度効率的に適応可能か？

主な発見

• 問題サイズ $N$ がプロセッサ数 $P$ に比例して増大する場合、$N \geq KP$ を満たすことで、アムダールの法則のもとで $E_P \geq 1/2$ が達成され、線形スループットが可能になる。
• 仮想プロセッサの使用により、物理的ハードウェア制限から独立した効率的アルゴリズム設計が可能となり、スケーラブルな分析と実装が可能になる。
• QR分解は、ピボットを用いないガウスの消去法の代替として、数値的に安定した手法を提供するが、算術演算の数が定数倍増加する。
• ヘステネス法によるSVDおよびヤコビ法による対称固有値問題は、$P = O(n)$ プロセッサを用いて $O(mn^2 S / P)$ 時間で効果的に並列化可能である。
• プロセッサ数 $P = O(n^2)$ の場合、ブロック構造QRおよびコゲブチャンツ型手法を用いることで、SVDが $O(n^3 S / P)$ 時間で計算可能となり、効率性が保たれる。
• 正方形のシステリックアレイでは、対称行列の三重対角化が $O(n \log n)$ 時間で達成可能であり、逐次的 $O(n^3)$ より顕著な改善をもたらすが、これは高速な逐次アルゴリズムの並列マシン上での効率性を制限する可能性がある。