[論文レビュー] Communication-optimal parallel and sequential QR and LU factorizations

James Demmel, Laura Grigori+2 more|arXiv (Cornell University)|Aug 19, 2008

Interconnection Networks and Systems参考文献 33被引用数 34

ひとこと要約

本稿では、分散および階層型メモリシステムの両方において、データ移動（レイテンシおよび帯域幅）を最小限に抑える通信最適な並列および逐次QRおよびLU分解アルゴリズム—TSQRおよびCAQR—を提示する。行列乗算の通信下界をQRおよびLU分解へ拡張することで、著者らは、これらのアルゴリズムが理論的下界（多対数因子を除いて）を達成することを証明した。LAPACKおよびScaLAPACKと比較して、メッセージ数とデータ転送量を顕著に削減しながら、ハウスホルダーQRと同等の数値安定性を維持している。

ABSTRACT

We present parallel and sequential dense QR factorization algorithms that are both optimal (up to polylogarithmic factors) in the amount of communication they perform, and just as stable as Householder QR. We prove optimality by extending known lower bounds on communication bandwidth for sequential and parallel matrix multiplication to provide latency lower bounds, and show these bounds apply to the LU and QR decompositions. We not only show that our QR algorithms attain these lower bounds (up to polylogarithmic factors), but that existing LAPACK and ScaLAPACK algorithms perform asymptotically more communication. We also point out recent LU algorithms in the literature that attain at least some of these lower bounds.

研究の動機と目的

• 高性能コンピューティングにおける浮動小数点演算と通信コストの間の性能ギャップの拡大に対処する。
• 科学計算で用いられる標準的な密行列QRおよびLU分解における通信ギャップを特定し、埋める。
• 理論的下界に達するデータ移動量を実現する、数値的に安定で通信を回避するアルゴリズムを開発する。
• 行列乗算の通信下界がQRおよびLU分解へ拡張可能であることを証明し、最適性解析を可能にする。
• 既存のLAPACKおよびScaLAPACK実装が、必要以上に多くの通信を実行していることを示す。

提案手法

• 行列乗算の既知の通信下界（Hong & Kung, Irony et al.）を、QRおよびLU分解に適用可能なレイテンシ下界へと拡張する。
• 列数に比べて行数の多い行列（タレスキンクエア）を対象としたTSQR（Tall Skinny QR）を設計し、木構造ベースの縮約によりメッセージ数を最小化する。
• 一般の長方形行列を対象としたCAQR（Communication-Avoiding QR）を、再帰的かつブロックベースの手法により開発し、データ移動量を削減する。
• ヤコビアンに基づく解析を用いて、情報損失を伴わずに通信を下界以下に削減できないことを証明し、理論的最適性を確立する。
• ブロックサイズやプロセッサグリッドの最適化により、逐次および並列設定の両方で通信量を最小化する。
• 計算モデルを統一的に定式化し、時間 = flops×time_per_flop + words_moved×(1/bandwidth) + messages×latency として性能をモデル化する（通信と計算のオーバーラップを除く）。

実験結果

リサーチクエスチョン

• RQ1 QRおよびLU分解の通信回避アルゴリズムは、データ移動の理論的下界に達することができるか？
• RQ2 既存のLAPACKおよびScaLAPACK実装は、必要以上に多くの通信を実行しているか？
• RQ3 行列乗算から導かれた通信下界をQRおよびLU分解へ拡張できるか？
• RQ4 逐次および並列のQRおよびLU分解において、最小のメッセージ数と転送ワード数はいくつか？
• RQ5 通信回避アルゴリズムは、ハウスホルダーQRと同等の数値安定性を維持できるか？

主な発見

• TSQRは、並列QR分解におけるメッセージ数を log P にまで削減し、これは最適であり、ScaLAPACKの PDGEQRF よりも 2n 倍少ない。
• CAQRは、並列環境下でメッセージ数を Θ(√(nP/m)) にまで削減し、これは最適であり、ScaLAPACK よりも Θ(√(mn/P)) 倍少ない。
• 逐次モードでは、TSQRは高速メモリと遅いメモリ間でたった 2mn ワードのデータ転送を行う。これは最適であり、ブロック化されたハウスホルダーQR よりも mn/(4W) 倍少ない。
• CAQRは、逐次モードでデータ移動量を Θ(mn²/√W) にまで削減し、これは最適であり、ブロック化されたハウスホルダーQR よりも Θ(m/√W) 倍少ない。
• CAQRは、逐次モードでたった 12mn²/W³ᐟ² メッセージを必要とし、これは最適であり、ハウスホルダーQR よりも顕著に少ない。
• 本稿では、行列乗算の通信下界がQRおよびLU分解へも適用可能であることを証明し、提案されたアルゴリズムの形式的最適性証明を可能にした。