[論文レビュー] Fast Matrix Multiplication and Symbolic Computation

Jean‐Guillaume Dumas, Victor Y. Pan|arXiv (Cornell University)|Dec 17, 2016

Tensor decomposition and applications参考文献 27被引用数 8

ひとこと要約

この論文は、純粋に理論的な漸近的改善ではなく、実用的で実現可能なサイズの行列に焦点を当てた高速行列乗算（MM）技術を概説する。主に三重線形集約、再帰的双線形アルゴリズム、記号計算を強調し、[87]、[88]、[118] のようなアルゴリズムが低再帰深さと効率的なメモリ使用を組み合わせることで、1982年以降、n ≤ 1,000,000 の範囲で記録的な指数2.7734を達成していることを強調している。

ABSTRACT

The complexity of matrix multiplication (hereafter MM) has been intensively studied since 1969, when Strassen surprisingly decreased the exponent 3 in the cubic cost of the straightforward classical MM to log 2 (7) $\approx$ 2.8074. Applications to some fundamental problems of Linear Algebra and Computer Science have been immediately recognized, but the researchers in Computer Algebra keep discovering more and more applications even today, with no sign of slowdown. We survey the unfinished history of decreasing the exponent towards its information lower bound 2, recall some important techniques discovered in this process and linked to other fields of computing, reveal sample surprising applications to fast computation of the inner products of two vectors and summation of integers, and discuss the curse of recursion, which separates the progress in fast MM into its most acclaimed and purely theoretical part and into valuable acceleration of MM of feasible sizes. Then, in the second part of our paper, we cover fast MM in realistic symbolic computations and discuss applications and implementation of fast exact matrix multiplication. We first review how most of exact linear algebra can be reduced to matrix multiplication over small finite fields. Then we highlight the differences in the design of approximate and exact implementations of fast MM, taking into account nowadays processor and memory hierarchies. In the concluding section we comment on current perspectives of the study of fast MM.

研究の動機と目的

• 高速行列乗算の研究の焦点を、純粋に理論的な漸近的指数の低減から、実用的で実現可能なサイズの行列計算へ再定義すること。
• 現代のプロセッサとメモリ階層を考慮した高速MMの効率的実装を可能にする技術を同定・分析すること。
• 近似版と正確版の高速MMの実装を比較・対比し、記号計算における数値安定性とメモリ効率に重点を置くこと。
• 将来的な進展のため、従来の2×2に基づく再帰的双線形手法から、より広範な三重線形および集約に基づく手法に移行するよう提言すること。
• 非常に低い指数を持つが再帰深さが高いため実用性が制限される「再帰の呪い」を解決すること。

提案手法

• 係数行列A、B、Cを用いた三重線形分解と集約を用いて、スパースまたは構造的係数を持つ場合に効率的な実装を可能にする。
• [87]、[88]、[118] に見られるように、高速な2×2 MMに基づく再帰的双線形アルゴリズムを採用し、算術コストを低減しながら実装可能性を維持する。
• [136] で示されたように、コンピュータ探索技術を用いて新しい三重線形分解を発見し、小さな行列（例：m,n,p ≤ 6）向けの効率的アルゴリズムを同定する。
• 小さな有限体を用いることで、正確な線形代数問題を行列乗算に還元し、正確かつ安定した計算を可能にする。
• メモリ階層とベクトル化の分析を通じて、現代のアーキテクチャにおけるパフォーマンス最適化を図り、低再帰深さと高いデータ局所性を持つアルゴリズムを好む。
• 「太陽中心的」な視点を提唱する——2×2再帰を越えて、集約やAPA（漸近的に高速な近似）アルゴリズムのような、ストラーセンフリーの新技術を探索する。

実験結果

リサーチクエスチョン

• RQ1 なぜ近年、MM指数を2.37未満に低減する理論的進展が、実世界の計算に実質的な影響を及ばさなかったのか？
• RQ2 高速MMアルゴリズムにおいて、理論的指数の低減と実装可能性の間の主なトレードオフは何か？
• RQ3 三重線形集約とスパース係数行列は、正確な行列乗算のパフォーマンスと安定性をどのように向上させるか？
• RQ4 メモリ階層とデータ局所性は、高速MMアルゴリズムの実用的効率にどのような役割を果たすか？
• RQ5 [87]、[88]、[118]、[136] の技術を組み合わせることで、実現可能な行列サイズにおいて2.7734未満の指数を達成するブレークスルーが可能か？

主な発見

• 1982年以降、n ≤ 1,000,000 の実現可能な行列サイズにおいて、[118] のアルゴリズムが達成した指数2.7734は、理論的進展にもかかわらず、未だ破られていない。
• 超スパース係数行列（例：[87]、[88]）を用いた三重線形集約に基づくアルゴリズムは、従来の再帰的双線形手法よりもメモリ効率が高く、数値的に安定している。
• コンピュータ探索によって発見された最近の[136] のアルゴリズムは、小さな行列（min{m,n,p}=2、max≤6）においてlog₂(7)未満の指数を達成しているが、係数行列が密で、実用的性能に劣る。
• 高速2×2 MMに基づく再帰的双線形アルゴリズムは、メモリ階層とベクトル化の最適化が施されれば、パフォーマンス向上の最も現実的な道筋である。
• 「再帰の呪い」により、Coppersmith–Winogradのような低指数アルゴリズムは、行列サイズが現実的な限界を何桁も超えていなければ、古典的MMを上回らない。
• 将来的な実用的高速MMの進展は、[87]/[88] の効率性と[136] の低指数を融合したハイブリッドアルゴリズムを人間の知見とコンピュータ探索を組み合わせて設計する方向に、理論的指数のさらなる低減を追求するのではなく、より期待される。