[論文レビュー] Stability Analysis of QR factorization in an Oblique Inner Product

Bradley R. Lowery, Julien Langou|arXiv (Cornell University)|Jan 21, 2014

Matrix Theory and Algorithms参考文献 5被引用数 9

ひとこと要約

本稿では、対称正定値行列 $A$ によって定義される斜交内積におけるQR分解の安定性解析を提示する。$A$ のコレスキー分解および固有値分解に基づくアルゴリズム、ならびに正規方程式を用いる手法を評価する。主な貢献は、きめ細かい後退誤差バウンドの導出および、通信を低減する新しいアルゴリズム PRE-CHOLQR の導入であり、並列アーキテクチャ上でも優れた性能を発揮しながら数値的安定性を維持している。

ABSTRACT

In this paper we consider the stability of the QR factorization in an oblique inner product. The oblique inner product is defined by a symmetric positive definite matrix A. We analyze two algorithm that are based a factorization of A and converting the problem to the Euclidean case. The two algorithms we consider use the Cholesky decomposition and the eigenvalue decomposition. We also analyze algorithms that are based on computing the Cholesky factor of the normal equa- tion. We present numerical experiments to show the error bounds are tight. Finally we present performance results for these algorithms as well as Gram-Schmidt methods on parallel architecture. The performance experiments demonstrate the benefit of the communication avoiding algorithms.

研究の動機と目的

• 対称正定値行列 $A$ によって定義される斜交内積空間におけるQR分解の数値的安定性を解析すること。
• Cholesky分解および固有値分解に基づくアルゴリズムの後退誤差バウンドを評価すること。
• 正規方程式 $Z^T A Z = R^T R$ を用いて $R$ を直接計算する手法の安定性および性能の特徴を調査すること。
• 通信低減型アルゴリズム PRE-CHOLQR を提案し、並列アーキテクチャにおける性能向上をベンチマークすること。
• 現代の並列アーキテクチャ上でのコレスキー型、固有値型、グラム・シュミット型アルゴリズムの性能を比較すること。

提案手法

• 行列 $A = B^T B$ を満たす $B$ を用いて、斜交QR分解問題を等価なユークリッドQR分解問題に変換する。$B$ は $A$ のコレスキー分解または固有値分解から得られる。
• コレスキー型アルゴリズム（CHOLQR）および固有値型アルゴリズム（SYEV-EQR）の後退誤差バウンドを解析し、$\|A\| \|Q\|^2$ に比例する安定性を示す。
• 事前に $BZ$ を計算することでQR分解の前処理を行う新しいアルゴリズム PRE-CHOLQR を提案し、レベル3 BLAS 操作を可能にし、通信コストを低減する。
• 正規方程式 $Z^T A Z = R^T R$ を用いて $R$ を直接計算する手法を提案し、その安定性と性能のトレードオフを分析する。
• 最適化された BLAS/LAPACK ライブラリ（MKL 11.0）を用いて、密行列および三重対角行列 $A$ を対象に、マルチコアおよびGPUアクセcelレートドシステム上でアルゴリズムを実装・ベンチマークする。
• レベル3 BLAS カーネルの利用度および通信低減特性に注目し、正規化されたFLOPレートを用いて性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 Cholesky分解または固有値分解を用いた場合、斜交内積におけるQR分解の後退誤差バウンドはどのように定式化されるか？
• RQ2 正規方程式に基づく手法の安定性は、分解に基づく手法と比較して、正規直交性の損失の観点からどのように異なるか？
• RQ3 通信低減型アルゴリズム PRE-CHOLQR は、並列アーキテクチャ上でも高い数値的安定性と優れた性能を両立できるか？
• RQ4 密行列およびスパース行列 $A$ に対して、コレスキー型、固有値型、グラム・シュミット型アルゴリズムの性能特性はどのように異なるか？
• RQ5 導出された理論的誤差バウンドはタイトなものであり、数値実験における実測結果とどのように一致するか？

主な発見

• コレスキー型および固有値型QRアルゴリズムの後退誤差バウンドは、$\|A\| \|Q\|^2$ に比例し、正規直交性の損失に関する最良の境界を表している。
• 数値実験により、導出された誤差バウンドがすべてのテスト設定および行列タイプにおいてタイトであることが確認された。
• 密行列 $A$ の場合、PRE-CHOLQR は1ノード16スレッド環境で最大270 GFLOPs/s の性能を達成し、古典的グラム・シュミット法（10 GFLOPs/s 未満）を著しく上回った。
• 三重対角行列 $A$ の場合、PRE-CHOLQR は $n$ が大きくなるにつれて CGS や MGS を上回り、ピークで7 GFLOPs/s に近づいた。
• レベル3 BLAS を使用するアルゴリズム（例：CHOLQR, PRE-CHOLQR）は、レベル2 BLAS に依存する手法（例：MGS, CGS）に比べてはるかに高い性能を発揮し、特に現代のアーキテクチャにおいて顕著であった。
• CHOL-EQR は、密行列のコレスキー分解のコストが高いため、スパース $A$ の場合にのみ実用的である。一方、PRE-CHOLQR は事前計算と効率的なカーネル利用により、このオーバーヘッドを回避している。