[論文レビュー] A highly parallel algorithm for computing the action of a matrix exponential on a vector based on a multilevel Monte Carlo method

Juan A. Acebrón, José R. Herrero+1 more|arXiv (Cornell University)|Apr 29, 2019

Matrix Theory and Algorithms参考文献 38被引用数 10

ひとこと要約

本論文は、連続時間マーカフ連鎖によって制御されるランダムパスを用いて、効率的でスケーラブルな計算を可能にする、行列指数関数のベクトルへの作用を計算する高並列なマルチレベルモンテカルロアルゴリズムを提案する。この手法は、古典的モンテカルロ法よりも顕著に優れた計算複雑性を達成し、大規模問題においてキリロフ法を速度とメモリ効率の両面で上回り、最大9,600コアを用いたスーパーコンピュータでほぼ理想に近いスループット向上を示した。

ABSTRACT

A novel algorithm for computing the action of a matrix exponential over a vector is proposed. The algorithm is based on a multilevel Monte Carlo method, and the vector solution is computed probabilistically generating suitable random paths which evolve through the indices of the matrix according to a suitable probability law. The computational complexity is proved in this paper to be significantly better than the classical Monte Carlo method, which allows the computation of much more accurate solutions. Furthermore, the positive features of the algorithm in terms of parallelism were exploited in practice to develop a highly scalable implementation capable of solving some test problems very efficiently using high performance supercomputers equipped with a large number of cores. For the specific case of shared memory architectures the performance of the algorithm was compared with the results obtained using an available Krylov-based algorithm, outperforming the latter in all benchmarks analyzed so far.

研究の動機と目的

• 行列指数関数のベクトルへの作用を計算するための既存手法の計算非効率性と並列処理の困難さに対処すること。
• この文脈において、古典的モンテカルロ法の収束の遅さと高い複雑性を克服すること。
• 現代のスーパーコンピュータで大規模問題に適したスケーラブルで高並列なアルゴリズムを開発すること。
• 全システムをグローバルに解くことなく、特定の点における行列関数作用の正確な計算を可能にすること。
• 速度、メモリ使用量、スケーラビリティの観点から、提案手法の性能を確立されたキリロフ法と比較すること。

提案手法

• 標準モンテカルロサンプリングの代わりに階層的サンプリング戦略を用いることで、分散を低減し収束を改善するマルチレベルモンテカルロフレームワークを採用する。
• システムのラプラシアン行列によって制御される連続時間マーカフ連鎖を介して、行列インデックスを経由するランダムパスを生成する。
• これらのパスの乗法的関数の平均をとることで、確率的に解を計算し、行列指数関数の作用を近似する。
• 従来の確率的アプローチを一般化し、単なる隣接行列に限らない任意の行列クラスに適用可能である。
• 異なるレベルにおける独立したモンテカルロシミュレーションを分散させることで並列化を実現し、プロセッサ間通信を最小限に抑える。
• 共有メモリアーキテクチャ上で実装され、大規模な偏微分方程式およびネットワーク問題でテストされた。

実験結果

リサーチクエスチョン

• RQ1 古典的モンテカルロ法と比較して、マルチレベルモンテカルロアプローチは、行列指数関数のベクトルへの作用を計算する際の計算複雑性を顕著に低減できるか？
• RQ2 提案手法の性能とスケーラビリティは、大規模問題におけるキリロフ法と比べてどの程度か？
• RQ3 数千コアにわたる並列処理において、ほぼ理想に近いスループット向上を維持しながら、効率的に並列化できるか？
• RQ4 全システムを解かずに特定の点での解を計算できるか。この機能はどの程度効率的か？
• RQ5 偏微分方程式や複雑ネットワーク解析を含む多様な科学的応用に、この手法は適用可能で効率的か？

主な発見

• 3次元偏微分方程式問題において、5,760コアまでで2.0に近いほぼ理想のスループット向上を達成し、実行時間が153秒から21秒に低下した。
• サイズ10^8のスモールワールドネットワークにおいて、1,200コアでの計算時間を315秒から5,760コアでの44秒に短縮し、スループット向上は1.9に達した。
• 大規模な行列に対して、標準的なキリロフ法と比較して、計算時間とメモリ使用量の両面で優れた性能を示した。
• 通信オーバーヘッドが最小限に抑えられ、多数のモンテカルロサンプル間で計算が独立しているため、スケーラビリティが優れた。
• 計算複雑性が古典的モンテカルロ法よりも顕著に優れており、低コストで高い精度を達成できることが証明された。
• 複雑ネットワークにおける全通信可能性と偏微分方程式の点ごとの解の計算において、高い精度と効率性を実現した。