[論文レビュー] Fast Matrix Multiplication: Limitations of the Coppersmith-Winograd Method

Andris Ambainis, Yuval Filmus+1 more|arXiv (Cornell University)|Jun 14, 2015

Tensor decomposition and applications参考文献 18被引用数 25

ひとこと要約

この論文は、高速行列積のためのCoppersmith-Winograd法およびそのテンソル積拡張の根本的な限界を特定し、このアプローチがO(n^2.3725)あるいはO(n^2.3078)の時間計算量に到達できないことを証明している。また、この方法によるさらなる向上が不可能である理由を説明する新しいフレームワークを提唱しており、Coppersmith-Winograd恒等式の高次テンソル積がなぜより速いアルゴリズムを生むのかを解明している。

ABSTRACT

Until a few years ago, the fastest known matrix multiplication algorithm, due to Coppersmith and Winograd (1990), ran in time O(n2.3755). Recently, a surge of activity by Stothers, Vassilevska-Williams, and Le~Gall has led to an improved algorithm running in time O(n2.3729). These algorithms are obtained by analyzing higher and higher tensor powers of a certain identity of Coppersmith and Winograd. We show that this exact approach cannot result in an algorithm with running time O(n2.3725), and identify a wide class of variants of this approach which cannot result in an algorithm with running time $O(n^{2.3078}); in particular, this approach cannot prove the conjecture that for every e > 0, two n x n matrices can be multiplied in time O(n2+e).We describe a new framework extending the original laser method, which is the method underlying the previously mentioned algorithms. Our framework accommodates the algorithms by Coppersmith and Winograd, Stothers, Vassilevska-Williams and Le~Gall. We obtain our main result by analyzing this framework. The framework also explains why taking tensor powers of the Coppersmith--Winograd identity results in faster algorithms.

研究の動機と目的

• Coppersmith-Winograd法およびそのテンソル積拡張が、より高速な行列積アルゴリズムを達成する理論的限界を理解すること。
• Coppersmith-Winograd恒等式の高次テンソル積を用いた過去の改善がなぜ成功したのかを特定し、さらなる改善が可能かどうかを同定すること。
• 現在のアプローチがO(n^2.3725)やO(n^2.3078)の時間計算量に到達できないこと、したがって任意のε > 0に対してO(n^{2+ε})時間で行列積が行えるという予想を証明できないことの確立。
• Coppersmith-Winograd、Stothers、Vassilevska-Williams、Le~Gallらのアルゴリズムを統合・一般化する新しいフレームワークを構築すること。

提案手法

• 論文は、高速行列積アルゴリズムの根幹をなすレーザー法を一般化する新しいフレームワークを導入する。
• Coppersmith-Winograd恒等式の高次テンソル積を分析して行列積アルゴリズムを抽出するプロセスを形式化する。
• Stothers、Vassilevska-Williams、Le~Gallらの先行研究で用いられた分析技術を統合・拡張する。
• 構造的および代数的制約を用いて、この方法で達成可能な行列積の漸近的指数の上限を導出する。
• この方法に基づくアルゴリズムのクラスが、性能向上に inherently 限界を有することを同定する。
• 恒等式およびそのテンソル積の構造に対してスペクトル的・組合せ的解析を適用し、達成可能な指数の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 Coppersmith-Winograd法およびそのテンソル積拡張は、O(n^2.3725)未満の指数に到達可能か？
• RQ2 Coppersmith-Winograd恒等式およびその変種にレーザー法を適用した際の、レーザー法の根本的限界は何か？
• RQ3 なぜCoppersmith-Winograd恒等式の高次テンソル積がより速いアルゴリズムを生むのか？この効果は定量的に説明可能か？
• RQ4 このアプローチを用いて、任意のε > 0に対してO(n^{2+ε})時間で行列積が行えるという予想を証明可能か？
• RQ5 Coppersmith-Winograd法に基づく既存の高速行列積アルゴリズムを統一的かつ一般化するフレームワークを構築可能か？

主な発見

• Coppersmith-Winograd法およびそのテンソル積変種は、O(n^2.3725)未満の指数に到達できない。
• この方法に基づく広範なアルゴリズムクラスは、O(n^2.3078)未満の指数に到達できない。
• このアプローチでは、任意のε > 0に対してO(n^{2+ε})時間で行列積が行えるという予想を証明できない。
• 新しいフレームワークは、Coppersmith-Winograd、Stothers、Vassilevska-Williams、Le~Gallらのアルゴリズムを統合・一般化し、成功裏に説明している。
• フレームワークは、Coppersmith-Winograd恒等式の高次テンソル積がなぜ指数を改善するのかという構造的要因を同定している。
• 解析により、この方法によるさらなる漸近的改善が不可能である、根本的な代数的および組合せ的障壁が明らかになった。