[論文レビュー] Communication-optimal parallel and sequential QR and LU factorizations: theory and practice

James Demmel, Laura Grigori+2 more|ArXiv.org|Jun 12, 2008

graph theory and CDMA systems参考文献 50被引用数 20

ひとこと要約

本稿では、木構造ベースの削減とブロックハウスホルダー変換を用いてデータ移動を最小限に抑えることで、通信最適化された並列および逐次QRおよびLU分解アルゴリズム—タールスキンニーエル（TSQR）と一般行列用のCAQR—を提示する。これらのアルゴリズムは、通信複雑度を理論的下界（多項式対数因子を除いて）に達しており、理論的および実践的両面でLAPACK/ScaLAPACKを上回る性能を示し、ペタスケールモデルでは最大22.9倍、クラスタでは最大6.7倍の高速化を達成した。

ABSTRACT

We present parallel and sequential dense QR factorization algorithms that are both optimal (up to polylogarithmic factors) in the amount of communication they perform, and just as stable as Householder QR. Our first algorithm, Tall Skinny QR (TSQR), factors m-by-n matrices in a one-dimensional (1-D) block cyclic row layout, and is optimized for m >> n. Our second algorithm, CAQR (Communication-Avoiding QR), factors general rectangular matrices distributed in a two-dimensional block cyclic layout. It invokes TSQR for each block column factorization.

研究の動機と目的

• 高性能コンピューティングにおける浮動小数点演算と通信（レイテンシ／帯域幅）の間の性能ギャップの拡大に対処する。
• 密行列のQRおよびLU分解において、逐次的および並列的設定の両方で通信を最小限に抑えるアルゴリズムを開発する。
• 理論的通信最適性（多項式対数因子を除いて下界に一致）を達成すると同時に、ハウスホルダーQRと同等の数値安定性を維持する。
• 実際のクラスタおよび外部主記憶装置（アウト・オブ・コア）環境におけるLAPACKおよびScaLAPACK実装と比較して、実用的優位性を示す。

提案手法

• m ≫ n を満たす行列に特化したTall Skinny QR（TSQR）の設計。二分木または一般木に基づく削減を用いて、通信を最小限に抑えたQR分解を実現する。
• 一般の長方形行列に対してCAQR（通信回避QR）を実装。2次元ブロックサイクリックレイアウトにおけるブロック列にTSQRを適用する。
• 構造化されたBLAS-3演算を用いたハウスホルダー反射を活用し、局所的分解を最適化し、データ移動を削減する。
• 削減木を用いてプロセッサ間で局所的QR結果を統合し、通信コストが理論的下界に一致することを保証する。
• レイテンシ、帯域幅、メモリ階層を考慮したマシンモデルを用いて、スループットの向上を予測する。
• 幾何学的および組合せ論的議論（例：Loomis-Whitney不等式）を用いて、行列乗算からQRおよびLU分解への下界を拡張する。

実験結果

リサーチクエスチョン

• RQ1 QRおよびLU分解を再設計することで、逐次的および並列的設定の両方で通信を最小限に抑えることは可能か？
• RQ2 QRおよびLU分解における通信の理論的下界は何か？ そして、実際の実装で達成可能か？
• RQ3 通信回避アルゴリズムは、既存のLAPACKおよびScaLAPACK実装と比較して、性能および数値安定性の面でどのように差をつけるか？
• RQ4 通信回避型分解は、分散メモリシステムおよび外部主記憶装置において、どの程度スケーリング可能か？
• RQ5 通信回避アプローチを、タールスキンニーエルおよび一般長方形行列の両方のケースに一般化でき、効率の低下を最小限に抑えることができるか？

主な発見

• TSQRおよびCAQRは、逐次的および並列的実行において通信最適性（多項式対数因子を除いて）を達成し、行列乗算から導かれた理論的下界に一致する。
• 16プロセッサのPentium IIIクラスタ上では、並列TSQRがScaLAPACKのPDGEQRFに対して最大6.7倍の高速化を達成した。
• 32プロセッサのBlueGene/Lシステム上では、TSQRが並列実行で最大4倍の高速化を達成した。
• ラップトップ上で実行した、DRAM外の逐次TSQRは、無限大のDRAMを想定した予測値に対してわずか2倍の遅延に抑えられ、メモリ制限環境下でも優れた性能を示した。
• 性能モデルは、ペタスケールマシン上でのCAQRがScaLAPACKに対して最大22.9倍、IBM Power5上では最大9.7倍の高速化を予測した。
• CAQRおよびTSQRは、それぞれ逐次的および並列的ケースにおいて、レイテンシおよび帯域幅の両面でLAPACKおよびScaLAPACKを上回り、ハウスホルダーQRと同等の数値安定性を維持した。