[論文レビュー] Fast Feasible and Unfeasible Matrix Multiplication

Victor Y. Pan|arXiv (Cornell University)|Apr 11, 2018

Tensor decomposition and applications参考文献 117被引用数 14

ひとこと要約

この論文は、実用的・非実用的MMアルゴリズムに区別を置いて、高速行列乗算の最先端状況をレビューする。理論的指数の低減と実用的適用性のトレードオフを分析し、再帰的アルゴリズムが現実の行列サイズでは非現実的に大きな行列にまで拡大する『再帰の呪い』を強調するとともに、2.7734未満の指数を持つ実用的で実装可能なアルゴリズムの最近の進展を強調する。

ABSTRACT

Fast matrix-by-matrix multiplication (hereafter MM) is a highly recognized research subject. The record upper bound 3 of 1968 on the exponent of the complexity MM decreased below 2.38 by 1987, applies to celebrated problems in many areas of computing, and is extensively cited in the Theory of Computing. Further decrease of the exponent remains a celebrated challenge. Acceleration of MM in the Practice of Computing is a distinct challenge, because all known algorithms supporting the exponents below 2.7733 improve straightforward MM only for unfeasible MM of immense size, greatly exceeding the sizes of interest nowadays and in any foreseeable future. We first survey the mainstream study of the acceleration of MM of unbounded sizes, cover the progress in decreasing the exponents of MM, comment on its impact on the theory and practice of computing, and recall various fundamental concepts and techniques supporting fast MM and naturally introduced in that study by 1980. Then we demonstrate how the curse of recursion naturally entered the game of decreasing the record exponents. Finally we cover the State of the Art of efficient feasible MM, including some most efficient known techniques and algorithms as well as various issues of numerical and symbolic implementation. We hope that our review will help motivate and properly focus further effort in this highly important area.

研究の動機と目的

• 1987年以降に、行列乗算指数を2.38未満に低減させる理論的進展を分析すること。
• 実世界の行列サイズでは実用的でない理論的高速アルゴリズムを妨げる『再帰の呪い』を特定し、説明すること。
• 現代の数値計算および記号計算ソフトウェアで使用されている、効率的かつ実装可能な、実用的行列乗算のアルゴリズムを調査・評価すること。
• 非実用的MMのための再帰的アルゴリズムと、実用的MMのための直接的・非再帰的技法との間で、性能と適用可能性を比較すること。
• 非実用的（理論的）および実用的（実装可能）行列乗算の両方を高速化するという課題の明確化を通じて、今後の研究を促すこと。

提案手法

• 1969年のストラッセンのアルゴリズムから、現在の指数のおおよそ2.3728639の記録への行列乗算アルゴリズムの進化を調査すること。
• 低指数を持つ双線形アルゴリズムを構築するうえで、テンソル分解と三線形集約の役割を分析すること。
• 高速MMアルゴリズムの再帰的構造を検討し、深すぎる再帰による入力サイズの著しい増大を定量化することで、それらが実用的でない理由を明らかにすること。
• 高速フーリエ変換（FFT）および逆FFTが多項式乗算と畳み込みにどのように応用され、多くの高速MM技法の基盤となっているかをレビューすること。
• 2.7734という1982年の指数境界に基づく実用的MMアルゴリズムの性能を評価し、現代のソフトウェアへの実装状況を検討すること。
• FFTベースの畳み込みと直接法との計算コストを比較し、大きな入力に対して、演算回数が著しく削減されることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 1987年以降、何十年もの研究が続けられても、なぜ行列乗算の理論的指数低減が止まっているのか？
• RQ2 『再帰の呪い』は、理論的に高速な行列乗算アルゴリズムが実際の用途でどれほど使えないようにしているのか？
• RQ3 実用的行列乗算において、最も効率的な既知のアルゴリズムは何か？ そして、古くから広く使われてきたアルゴリズムと比べてどう異なるか？
• RQ4 FFTベースの技法と多項式評価・補間法は、実用的な行列乗算を加速するためにどのように寄与しているか？
• RQ5 理論的下界の2と、実装可能なアルゴリズムで達成可能な最良の指数との間には、現在どれほどのギャップがあるか？

主な発見

• 行列乗算指数はおおよそ2.3728639まで低下したが、深すぎる再帰のため、実装可能ではない。
• 『再帰の呪い』により、再帰的高速MMアルゴリズムは、現実的または予測可能な実用的ニーズを超えるほど大きな入力サイズを必要とし、結果として理論的分析に限定される。
• 理論的進展にもかかわらず、現代の数値的および記号的行列計算ソフトウェアは、40年以上前に開発されたアルゴリズムに大きく依存している。より効率的な代替手段が存在するにもかかわらずである。
• 2.7734未満の指数を持つアルゴリズム（1982年のものなど）は、実用的行列乗算において依然として最も実用的かつ効率的であり、現代のソフトウェアでも積極的に使用されている。
• FFTベースの畳み込みおよび多項式評価・補間法により、算術演算回数が著しく削減され、次数 $ n $ の畳み込みに対して、$ K = 2^k $ および $ K \approx 2n $ の条件下で、コストがおおよそ $ 2K + 4.5K\log_2 K $ にまで低下する。
• 逆FFTは、共役転置とスケーリングを経由することで計算可能であり、これにより多項式補間が効率的に行え、FFTベースの畳み込みパイプラインが完成する。