[論文レビュー] Accelerating eigenvector and pseudospectra computation using blocked multi-shift triangular solves

Tim Moon, Jack Poulson|arXiv (Cornell University)|Jul 6, 2016

Parallel Computing and Optimization Techniques参考文献 17被引用数 3

ひとこと要約

本稿では、レベル3 BLASを活用して固有ベクトルおよび擬似固有値の計算を高速化するブロッキング多シフト下三角行列連立方程式解法を提案する。複数のシフトを組み合わせた下三角行列の解法を再定式化し、病的条件の悪い行列に対しても安全策を講じることで、LAPACKの下三角固有ベクトル計算に対して最大60倍の高速化、EigToolに比べ9倍の高速化を達成し、固有値解析ワークロードにおける性能を顕著に向上させた。

ABSTRACT

Multi-shift triangular solves are basic linear algebra calculations with applications in eigenvector and pseudospectra computation. We propose blocked algorithms that efficiently exploit Level 3 BLAS to perform multi-shift triangular solves and safe multi-shift triangular solves. Numerical experiments indicate that computing triangular eigenvectors with a safe multi-shift triangular solve achieves speedups by a factor of 60 relative to LAPACK. This algorithm accelerates the calculation of general eigenvectors threefold. When using multi-shift triangular solves to compute pseudospectra, we report ninefold speedups relative to EigTool.

研究の動機と目的

• 既存のLAPACKルーチンがレベル2 BLASに依存することで生じる固有ベクトルおよび擬似固有値計算の性能ボトルネックを解消すること。
• 非ブロッキングのバックサブスティチューションを置き換えることで、ブロッキング多シフト下三角行列連立方程式解法を用いて、下三角行列および一般固有ベクトルの効率的計算を可能にすること。
• 病的条件の悪いケースにおいてもオーバーフローおよびゼロ除算を防ぎ、数値的に安定した多シフト下三角行列連立方程式解法の安全なバージョンを開発すること。
• 複数のシフト点にわたりレベル3 BLAS最適化された多シフト解法を活用することで、擬似固有値計算を高速化すること。
• Fortran実装と実数演算のサポートを通じて、将来のLAPACK統合の基盤を提供すること。

提案手法

• レベル2 BLASの演算をレベル3 BLASルーチン（例：xGEMM）に置き換えることで、データ局所性とキャッシュ効率を向上させる、ブロッキング多シフト下三角行列連立方程式解法を提案する。
• 下三角行列の対角ブロックにシフトを適用することで、標準的なブロッキングバックサブスティチューションアルゴリズムを、同時に複数のシフトを処理できるように拡張する。
• 動的スケーリングと誤差モニタリングを用いた安全な多シフト下三角行列連立方程式解法を導入し、数値的オーバーフローを防止するとともに、後向き安定性を維持する。
• 中間ベクトルの無限大ノルムを監視し、スケーリング要因を調整することで、安全な範囲内に保つための保護付き反復的スケーリング戦略を採用する。
• 一般固有値問題に一般化するため、(U - λV)x = b を xTRSV および xGEMM 演算を用いた変更済みブロッキングアルゴリズムで解く。
• 一般化された安全な多シフト連立方程式解法を、下三角行列および一般行列の両方に対して堅牢に動作する固有ベクトルソルバーのパイプラインのコアサブルーチンとして使用する。

実験結果

リサーチクエスチョン

• RQ1 レベル3 BLASを用いたブロッキング多シフト下三角行列連立方程式解法は、LAPACKのレベル2 BLASベースの xTREVC に比べ、固有ベクトル計算の計算時間を顕著に短縮できるか？
• RQ2 安全な多シフト下三角行列連立方程式解法アルゴリズムは、病的条件の悪いケースにおいてもオーバーフローおよびゼロ除算を防止し、後向き安定性を維持できるか？
• RQ3 多シフト下三角行列連立方程式解法は、特に大規模問題において、擬似固有値計算をどの程度高速化できるか？
• RQ4 提案されたアルゴリズムの性能は、行列サイズおよびシフト数の増加に伴い、どのようにスケーリングするか？
• RQ5 提案されたアルゴリズムは、一般固有値問題に一般化可能であり、標準的な線形代数ライブラリに統合可能か？

主な発見

• 安全な多シフト下三角行列連立方程式解法を用いた下三角固有ベクトル計算は、LAPACKの xTREVC ルーチンに比べ60倍の高速化を達成した。
• 提案手法を用いた一般固有ベクトル計算は、LAPACKベースラインに比べ3倍の高速化を達成した。
• 新しいアルゴリズムを用いた擬似固有値計算では、3200×3200行列に対して10,000グリッドポイントでリソルベントノルムを計算する際、EigToolに比べ9倍の高速化が達成された。
• 性能向上は、特に xGEMM を効果的に活用することで、データ再利用性とキャッシュ利用効率が向上したことに起因する。
• 安全な多シフト下三角行列連立方程式解法は、解ベクトルを動的スケーリングすることで、病的条件の悪い行列に対してもオーバーフローを防止し、数値的安定性を維持した。
• 一般化された多シフト下三角行列連立方程式解法により、一般固有値問題にまでこの手法を拡張し、一般固有ベクトルの堅牢かつ効率的な計算を可能にした。