[論文レビュー] Barriers for rectangular matrix multiplication

Matthias Christandl, François Le Gall+2 more|arXiv (Cornell University)|Mar 6, 2020

Tensor decomposition and applications参考文献 25被引用数 7

ひとこと要約

この論文は、大きなコペルスミス＝ウィノグラードテンソルを用いた長方形行列積の漸近的技法に対して、正確な数値的障壁を確立し、現在の手法が双対行列積指数 α に対して 0.625 より低い指数を達成できないことを証明している。著者らはテンソルの漸近的スペクトルからの量子関数型および補助関数型を用いて、既存のアルゴリズムの限界を厳密に束縛し、現在の手法ではこの障壁を超える改善が不可能であることを示している。

ABSTRACT

We study the algorithmic problem of multiplying large matrices that are rectangular. We prove that the method that has been used to construct the fastest algorithms for rectangular matrix multiplication cannot give algorithms with complexity $n^{p + 1}$ for $n imes n$ by $n imes n^p$ matrix multiplication. In fact, we prove a precise numerical barrier for this method. Our barrier improves the previously known barriers, both in the numerical sense, as well as in its generality. In particular, we prove that any lower bound on the dual exponent of matrix multiplication $α$ via the big Coppersmith-Winograd tensors cannot exceed 0.6218.

研究の動機と目的

• 現在の長方形行列積のアルゴリズムが、ω(p) における上界と下界の差を埋められない理由を理解すること。
• 特に大きなコペルスミス＝ウィノグラードテンソルに基づく手法の根本的な制限を特定すること。
• 双対指数 α に対して正確な数値的障壁を証明すること。これは ω=2 のとき、最も速い長方形行列積を特徴付ける。
• 正方行列に限らない、より一般的な長方形の場合へのアルゴリズム的障壁の理解を拡張すること。

提案手法

• 著者らはテンソルの漸近的スペクトルを用いて、行列積アルゴリズムの限界を分析している。
• 特別な代数的性質を持つ二つの実数テンソルパラメータの族、すなわち量子関数型と補助関数型を適用して境界を導出している。
• この手法は、大きなコペルスミス＝ウィノグラードテンソル CW_q のサポート上における確率分布上の凸最適化問題として定式化される。
• 対称群 S_q の作用による平均化を用いた対称性の簡略化により、変数の数が削減されつつ最適性が保たれる。
• 障壁は、周辺分布のエントロピーとテンソルのランクを含む比の最大値として計算され、数値的に評価可能な式となる。
• 最適化はテンソルの構造と対称性を保つ制約の下で行われ、ω(p) に対するきつい境界が得られる。

実験結果

リサーチクエスチョン

• RQ1 大きなコペルスミス＝ウィノグラードテンソルに基づく現在の行列積アルゴリズムが、長方形行列に対して達成可能な根本的限界は何か？
• RQ2 現在の漸近的手法を用いて、双対指数 α を 0.625 を超えて改善できるか？
• RQ3 なぜ現在の手法は、ω(p) における最良の既知の上界と下界の差を埋められなかったのか？
• RQ4 量子関数型と補助関数型は、テンソルの漸近的スペクトル理論における障壁確立にどのように寄与するか？
• RQ5 テンソルのサポートにおける対称性は、行列積アルゴリズムの境界最適化にどのように影響するか？

主な発見

• この論文は、双対行列積指数 α に対して正確な数値的障壁 0.625 を証明しており、これは、大きなコペルスミス＝ウィノグラードテンソルに基づくいかなるアルゴリズムでも α > 0.625 を達成できないことを意味する。
• この障壁は、漸近的スペクトル理論における重要な道具である量子関数型と補助関数型を用いて導出された。
• p=2 の長方形行列積に対して、q=13 のとき ω(2) の障壁は約 3.1568 に達し、q の増加に伴い利得が減少することが示された。
• 著者らは、現在の手法が任意の p > 0.625 に対して ω(p) = 2 + p を達成できないことを示しており、改善の硬い限界があることを示している。
• この障壁は、すべての既存の境界よりもきつく、同じクラスの補助テンソルに依存するすべてのアルゴリズムに普遍的に適用可能である。
• この結果は、ω=2 を達成するか、長方形行列積のギャップを埋めるために、現在の枠組みを越える新しい技術が必要であることを示唆している。