[論文レビュー] Fast Matrix Multiplication: Limitations of the Laser Method

Andris Ambainis, Yuval Filmus+1 more|arXiv (Cornell University)|Nov 20, 2014

Tensor decomposition and applications参考文献 15被引用数 17

ひとこと要約

この論文は、高速行列乗算アルゴリズムを導出するために用いられるレーザー法の根本的な限界を特定し、Coppersmith–Winograd恒等式の高次テンソル積を用いても、行列乗算指数を 2.3725 より小さくすることはできず、また ω=2 の予想を証明することもできないことを証明している。著者らは、先行手法を一般化し、テンソル積が性能を向上させる理由を説明するが、このアプローチによるさらなる改善には本質的な障壁があることを示す新しい解析フレームワークを導入している。

ABSTRACT

Until a few years ago, the fastest known matrix multiplication algorithm, due to Coppersmith and Winograd (1990), ran in time $O(n^{2.3755})$. Recently, a surge of activity by Stothers, Vassilevska-Williams, and Le Gall has led to an improved algorithm running in time $O(n^{2.3729})$. These algorithms are obtained by analyzing higher and higher tensor powers of a certain identity of Coppersmith and Winograd. We show that this exact approach cannot result in an algorithm with running time $O(n^{2.3725})$, and identify a wide class of variants of this approach which cannot result in an algorithm with running time $O(n^{2.3078})$; in particular, this approach cannot prove the conjecture that for every $ε> 0$, two $n imes n$ matrices can be multiplied in time $O(n^{2+ε})$. We describe a new framework extending the original laser method, which is the method underlying the previously mentioned algorithms. Our framework accommodates the algorithms by Coppersmith and Winograd, Stothers, Vassilevska-Williams and Le Gall. We obtain our main result by analyzing this framework. The framework is also the first to explain why taking tensor powers of the Coppersmith-Winograd identity results in faster algorithms.

研究の動機と目的

• Coppersmith–Winograd恒等式にレーザー法を適用した場合、行列乗算指数 ω < 2.3725 を達成できるかどうかを特定すること。
• Coppersmith–Winograd恒等式のいかなるテンソル積を用いても、ω = 2（任意の ε > 0 に対して O(n^{2+ε}) 時間内での行列乗算）を証明できるかどうかを調査すること。
• Coppersmith–Winograd、Stothers、Vassilevska-Williams、Le Gall が用いた手法を含む先行のレーザー法技術を一般化・統合する新しい解析フレームワークを開発すること。
• Coppersmith–Winograd恒等式の高次テンソル積がなぜより高速なアルゴリズムをもたらすのかを、背後にある構造的利点を形式化することで説明すること。

提案手法

• 著者らは、2の累乗でないテンソル積や可変なマージン幅を扱えるように一般化した新しい枠組み、すなわちマージング値 $ V^{ ext{m}}_{ ho}( au) $ を導入した。
• テンソル積の漸近的性能の上限を分析するために、分割制限付き値 $ V^{ ext{pr}}_{ ho}( au^{igotimes 2^r}) $ を定義した。
• このフレームワークは、整合的マージングを組み込み、Schönhageの漸近的和の不等式を用いて、境界ランクの上限と行列乗算の複雑さを関連づけた。
• テンソル分解の値の上限を求めるために、サポート集合上の確率分布の最適化を用いた。
• 先行研究を拡張し、2の累乗に限らず任意のテンソル積、固定されたグループ化に限らない非剛性マージングスキームを許容する。
• エントロピーに基づく上限と凸最適化に依存し、達成可能な性能の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 Coppersmith–Winograd恒等式にレーザー法を適用した場合、行列乗算指数 ω < 2.3725 を達成できるか？
• RQ2 Coppersmith–Winograd恒等式のいかなるテンソル積を用いても、ω = 2 を証明することは可能か？
• RQ3 なぜCoppersmith–Winograd恒等式の高次テンソル積をとると性能が向上するのか？その背後にある構造的特徴は何か？
• RQ4 マージング値 $ V^{ ext{m}}_{ ho}( au) $ の上界はタイトか、それとも分析の改善や新たな技術の導入の余地があるか？
• RQ5 r ≥ 2 のとき、分割制限付き値 $ V^{ ext{pr}}_{ ho}( au^{igotimes 2^r}) $ には下限と上限のギャップが生じており、未解決の最適化課題が残っている。

主な発見

• Coppersmith–Winograd恒等式にレーザー法を適用しても、実行時間が O(n^{2.3725}) であるアルゴリズムは得られず、使用するテンソル積の次数にかかわらず同様である。
• 一般化されたマージングと2の累乗でないテンソル積を許容しても、ω < 2.3078 を達成することはできず、ω=2 を証明するためのハードルが存在することが示された。
• 新しいフレームワークは、整合的マージングと可変な分割の利点を捉えることで、高次テンソル積が性能を向上させる理由を説明している。
• マージング値 $ V^{ ext{m}}_{ ho}( au) $ の上界はタイトではなく、改善された分析や新たな技術の導入の余地があることを示唆している。
• r ≥ 2 のとき、分割制限付き値 $ V^{ ext{pr}}_{ ho}( au^{igotimes 2^r}) $ には下限と上限のギャップが生じており、未解決の最適化課題が残っている。
• 著者らは、$ V^{ ext{pr}}_{ ho} $ および $ V^{ ext{m}}_{ ho} $ の上界がタイトではないと予想しており、より良い構成により、より良い上限が得られる可能性があると述べている。