[論文レビュー] Block algorithms with augmented Rayleigh-Ritz projections for large-scale eigenpair computation

Zaiwen Wen, Yin Zhang|arXiv (Cornell University)|Jul 22, 2015

Matrix Theory and Algorithms参考文献 18被引用数 6

ひとこと要約

本稿では、拡張リーマン・リッツ（ARR）射影と多項式条件化を用いて収束を加速するブロック固有値アルゴリズムarrabitを提案する。Rayleigh-Ritz呼び出しを1〜3回にまで削減することで、ARPACK や FEAST といった最先端のソルバーに比して、明示的な並列化なしでも大規模な対称行列において優れた性能を達成する。

ABSTRACT

Most iterative algorithms for eigenpair computation consist of two main steps: a subspace update (SU) step that generates bases for approximate eigenspaces, followed by a Rayleigh-Ritz (RR) projection step that extracts approximate eigenpairs. So far the predominant methodology for the SU step is based on Krylov subspaces that builds orthonormal bases piece by piece in a sequential manner. In this work, we investigate block methods in the SU step that allow a higher level of concurrency than what is reachable by Krylov subspace methods. To achieve a competitive speed, we propose an augmented Rayleigh-Ritz (ARR) procedure and analyze its rate of convergence under realistic conditions. Combining this ARR procedure with a set of polynomial accelerators, as well as utilizing a few other techniques such as continuation and deflation, we construct a block algorithm designed to reduce the number of RR steps and elevate concurrency in the SU steps. Extensive computational experiments are conducted in Matlab on a representative set of test problems to evaluate the performance of two variants of our algorithm in comparison to two well-established, high-quality eigensolvers ARPACK and FEAST. Numerical results, obtained on a many-core computer without explicit code parallelization, show that when computing a relatively large number of eigenpairs, the performance of our algorithms is competitive with, and frequently superior to, that of the two state-of-the-art eigensolvers.

研究の動機と目的

• 現代の多数コアアーキテクチャにおけるKrylov部分空間法の拡張性のボトルネックを解消し、逐次的なRayleigh-Ritzステップへの依存度を低減すること。
• 平坦な固有値分解を示す状況において、従来のブロック手法の収束が遅い問題を、保証された加速機構で克服すること。
• 行列-行列乗算に支配される高並列性の部分空間更新（SU）ステップに計算負荷を移行するフレームワークを構築すること。
• ARPACK や FEAST といった確立された固有値ソルバーに比して、大規模なスパース対称行列において競争的または優れた性能を達成すること。
• 通信コストが低く、高い精度で多数の外部固有ペア（k ≪ n）を効率的に計算できること。

提案手法

• リーマンベクトルと残差補正を含む拡張された部分空間に射影することで収束を加速する、拡張リーマン・リッツ（ARR）手続きを導入する。
• ブロックパワー反復とガウス・ニュートン法を部分空間更新（SU）スキームとして用い、両者とも行列乗算（AX）に支配され、高並列性を示す。
• 低次元の多項式加速器を適用し、計算複雑性を増加させることなくブロックパワー法の収束速度を向上させる。
• 反復行列が数値的にランク落ちすることを許容する大胆な停止ルールを実装し、不要なRayleigh-Ritz射影を削減する。
• 連続法とデフラスティング技術を統合し、固有値が凝集している、または分離が悪い場合の収束性とロバスト性を向上させる。
• 収束性のスケーラビリティに極めて重要であるRayleigh-Ritz呼び出し回数を最小限に抑えるアルゴリズムを設計する。これは、密固有値解法と直交化を伴い、並列性が限定されるため。

実験結果

リサーチクエスチョン

• RQ1 拡張リーマン・リッツ射影を有するブロックアルゴリズムは、大規模な対称固有値問題において、従来のKrylov法よりも高速に収束することができるか？
• RQ2 固有ペア計算の高精度を維持しつつ、Rayleigh-Ritz射影回数をどの程度まで削減できるか？
• RQ3 特にKrylovベースのソルバーと比較して、固有ペア数kの増加に伴うスケーリング特性はいかほどか？
• RQ4 多項式加速と大胆な停止ルールは、信頼性を損なわず、ブロックパワー反復の収束を顕著に改善できるか？
• RQ5 凝集的または平坦な固有値分解の条件下でも、ARR手続きは保証された収束加速を提供するか？

主な発見

• arrabitは、UFスパース行列コレクションの16のテスト行列において、明示的なコード並列化なしでもARPACK や FEAST に比して競争的または優れた性能を示した。
• 平均して、arrabitは解の許容誤差10⁻¹²に到達するまでに、わずか1〜3回の拡張リーマン・リッツ（ARR）射影で十分であり、高コストな密固有値解法の回数を顕著に削減した。
• cfd1 や Ge87H76 のような行列では、arrabitはKrylovベースのeigsソルバーと比較して、kの増加に伴うスケーリングが優れており、kが増加するにつれて解法時間の上昇率が遅い。
• 平坦な固有値分解を示す困難な問題では、arrabitはeigsに比べて数倍の高速化を達成し、ロバスト性と効率性を示した。
• ガウス・ニュートンに基づく変種（gn）のarrabitは、特に密なコレスキー因数を持つ行列において優れた性能を示したが、一部の小〜中規模k問題ではFEASTが依然として速かった。
• ブロックSpMV演算の高並列性を活かした部分空間更新ステップのおかげで、arrabitの性能は並列アーキテクチャにおいて顕著に優れていた。