[論文レビュー] Fast Multiplication of Matrices with Decay

Matt Challacombe, Nicolas Bock|arXiv (Cornell University)|Nov 15, 2010

Cellular Automata and Applications参考文献 6被引用数 11

ひとこと要約

この論文は、行列空間ではなく積空間における相互作用の切り捨てにより、指数的または代数的減衰を示す行列の乗算を高速化する Sparse Approximate Matrix Multiply (SpAMM) アルゴリズムを導入する。SpAMM は、同等の電子的エネルギー誤差に対して行列要素のドロップより著しく少ない浮動小数点演算を必要とし、誤差は 𝒪(τ) に対して 𝒪(τ²) とスケーリングされ、有利な減衰領域では線形スケーリングの可能性を示している。

ABSTRACT

A fast algorithm for the approximate multiplication of matrices with decay is introduced; the Sparse Approximate Matrix Multiply (SpAMM) reduces complexity in the product space, a different approach from current methods that economize within the matrix space through truncation or rank reduction. Matrix truncation (element dropping) is compared to SpAMM for quantum chemical matrices with approximate exponential and algebraic decay. For matched errors in the electronic total energy, SpAMM is found to require fewer to far fewer floating point operations relative to dropping. The challenges and opportunities afforded by this new approach are discussed, including the potential for high performance implementations.

研究の動機と目的

• 電子構造理論に生じる行列の減衰特性を活用した、高速でスケーラブルな行列乗算手法の開発。
• 従来の行列切断（要素ドロップ）やハイアーチカル行列法（例：H行列）の限界を克服するため、切り捨て戦略を行列空間から積空間に移行すること。
• 階層的・ノルムベースの行列積寄与の刈り込みにより、計算複雑性を低減することで、大規模な量子化学計算における線形スケーリングを実現すること。
• 指数的または代数的減衰を示す行列に対して、𝒪(n lg n) の複雑性を達成できるかを検討し、標準乗算の𝒪(n³) と対比すること。

提案手法

• SpAMM は、行列積空間の再帰的クアッドツリー分割を用い、各ブロックが部分乗法的行列ノルムを用いて重要性のテストを受ける。
• アルゴリズムは閾値 τ を適用して寄与を刈り込む：積ブロックのノルムが τ 未満の場合、ゼロに設定される。
• 各再帰レベルで、ブロックの組み合わせノルムが τ を超える場合にのみ、部分ブロックの積を計算するため、無関係な相互作用の早期終了が可能になる。
• この手法は、積空間 (i,j,k) の階層的構造を活用し、空間的局所性を持つ一般化された N 体問題として行列乗算を扱う。
• 並列実装におけるドメイン分割と負荷分散には、空間を満たす曲線（SFC）が用いられる。
• 誤差蓄積を最小限に抑えるために、積空間における切り捨てを制御し、理論的誤差境界は要素あたり 𝒪(τ) である。

実験結果

リサーチクエスチョン

• RQ1 行列乗算の積空間における切り捨ては、従来の行列要素ドロップと比較して、計算コストの顕著な削減をもたらすか？
• RQ2 指数的または代数的減衰を示す行列に対して SpAMM の漸近的複雑性は何か？𝒪(n lg n) またはそれ以下のスケーリングを達成できるか？
• RQ3 SpAMM の誤差は切り捨て閾値 τ に対してどのようにスケーリングされるか？また、行列要素ドロップの 𝒪(τ²) と比較するとどうか？
• RQ4 どのような減衰領域で、SpAMM は精度と計算コストの両面で行列切断を上回るか？
• RQ5 空間を満たす曲線と三次元積空間の階層的分割を用いた並列化は、SpAMM に対して効果的か？

主な発見

• 同等の電子的エネルギー誤差に対して、SpAMM は特に水クラスターのような遅い減衰を示す系では、行列要素ドロップよりも著しく少ない浮動小数点演算を必要とする。
• SpAMM は誤差スケーリング 𝒪(τ) を達成しており、行列要素ドロップの 𝒪(τ²) と比較してより好ましい誤差制御を示している。
• 指数的減衰を示す (4,3) ナノチューブでは、空間的減衰が遅いにもかかわらず、SpAMM はドロップと比較して演算を数倍削減する。
• 代数的減衰を示す (3,3) ナノチューブでは、SpAMM はドロップよりも顕著なコスト削減を示すが、この領域では線形スケーリングの複雑性は未確認のままである。
• 遅い減衰であっても、テストされたすべての系で SpAMM は安定した誤差制御を維持しており、減衰タイプに強く依存しない堅牢性を示している。
• 非常に低い閾値（τ → 0）では、SpAMM とドロップは両方とも同じ𝒪(n³) の複雑性に収束するため、SpAMM の利点が中程度の τ で最も顕著であることが確認された。