[論文レビュー] Matrix multiplication algorithms from group orbits

Joshua A. Grochow, Cristopher Moore|arXiv (Cornell University)|Dec 5, 2016

Tensor decomposition and applications参考文献 26被引用数 5

ひとこと要約

本稿は、有限群作用による軌道へのテンソル分解を用いて、非常に対称的な行列乗算アルゴリズムを構築する、新しい群論的枠組みを提示する。すべての $n$ に対してランク-$n^3 - n + 1$ のアルゴリズムを統一的なラティスに基づく構成によって得られ、Strassenのアルゴリズムのこれまでで最も明確な証明を提供するとともに、対称デザインやラティスとの深い関係を明らかにする。

ABSTRACT

We show how to construct highly symmetric algorithms for matrix multiplication. In particular, we consider algorithms which decompose the matrix multiplication tensor into a sum of rank-1 tensors, where the decomposition itself consists of orbits under some finite group action. We show how to use the representation theory of the corresponding group to derive simple constraints on the decomposition, which we solve by hand for n=2,3,4,5, recovering Strassen's algorithm (in a particularly symmetric form) and new algorithms for larger n. While these new algorithms do not improve the known upper bounds on tensor rank or the matrix multiplication exponent, they are beautiful in their own right, and we point out modifications of this idea that could plausibly lead to further improvements. Our constructions also suggest further patterns that could be mined for new algorithms, including a tantalizing connection with lattices. In particular, using lattices we give the most transparent proof to date of Strassen's algorithm; the same proof works for all n, to yield a decomposition with $n^3 - n + 1$ terms.

研究の動機と目的

• 群作用とテンソル分解を用いて、対称的な行列乗算アルゴリズムを体系的に構築する方法を開発すること。
• 軌道に基づく構成を用いて、$n=3,4,5$ に対してStrassenのアルゴリズムを非常に対称的な形で回復し、新たなアルゴリズムを発見すること。
• すべての $n$ に一般化可能な、統一的なラティスに基づく構成を特定し、テンソルランクを $n^3 - n + 1$ にすること。
• 特に3重推移的群作用と単体フレームに関連する、対称的アルゴリズムにおける構造的パターンを特定すること。
• Strassenのアルゴリズムの単純で明確な証明を提供し、すべての $n$ に自然に拡張可能なものにすること。

提案手法

• 有限群作用の下で軌道を形成するランク1項に分解することで、テンソル $\text{MM}_n$ を用いて行列乗算アルゴリズムを構築する。
• 群の表現論を用いて分解にかかる制約を導出し、小規模な $n$ に対して手作業による解法を可能にする。
• 複素数空間 $\mathbb{C}^{n+1}$ 内の単体フレームを成すベクトル $w_1, \dots, w_{n+1}$ を用いたラティスに基づく構成を採用し、対称性と直交性を保証する。
• 重要な恒等式：$\text{MM}_n = \mathbf{1}^{\otimes 3} + \left(\frac{n}{n+1}\right)^3 \sum_{i,j,k \text{ distinct}} |w_i\rangle\langle w_j - w_i| \otimes \cdots$ を導出し、$n^3 - n + 1$ 項を生成する。
• $\sum_i |w_i\rangle = 0$ および $\frac{n}{n+1} \sum_i |w_i\rangle\langle w_i| = \mathbf{1}$ の事実を活用してテンソルの縮約を簡略化し、正しさを検証する。
• 異なる添え字 $i,j,k$ のすべての三重組に対する対称和が、トレースゼロ条件による混合項のキャンセルを介して、$\text{MM}_n$ を恒等項を除いて再現することを示す。

実験結果

リサーチクエスチョン

• RQ1 群の軌道と表現論を用いて、非常に対称的な行列乗算アルゴリズムを体系的に構築できるか？
• RQ2 Strassenのアルゴリズムをすべての $n$ に一般化し、閉形式のランク式を得られる統一的構成は存在するか？
• RQ3 ラティスと単体フレームは、行列乗算の分解を単純化・統一化するためにどのような役割を果たすか？
• RQ4 $n+1$ 個の点における3重推移的群作用は、$n \geq 2$ に対して有効な行列乗算アルゴリズムを導くことができるか？
• RQ5 群の軌道に基づく対称的構成は、行列乗算におけるより深い代数的・幾何的構造をどのように明らかにするか？

主な発見

• 本稿は、群の軌道を用いて $n=2,3,4,5$ に対する対称的行列乗算アルゴリズムを構築し、Strassenのアルゴリズムを非常に対称的な形で回復した。
• すべての $n$ に対して、ラティスに基づく構成により、テンソルランク $n^3 - n + 1$ の有効な行列乗算分解が得られ、Strassenのアルゴリズムが一般化された。
• この構成により、これまでに知られている中で最も明確で簡潔なStrassenのアルゴリズムの証明が得られ、対称性とトレースキャンセリングにのみ依存する。
• この方法により、分解の根拠が $n+1$ 個の単体ベクトルにおける3重推移的群作用に起因し、$S_{n+1}$ が対称性群として機能することが明らかになった。
• 分解における異なる添え字 $i,j,k$ の三重組の和は $n^3 - n$ 項を占め、恒等項が1つ加わることで、合計で $n^3 - n + 1$ 個のランク1成分が得られる。
• 正しさの証明は、ベクトル空間の恒等式 $\sum_i |w_i\rangle = 0$ および $\frac{n}{n+1} \sum_i |w_i\rangle\langle w_i| = \mathbf{1}$ に依存しており、これにより混合項のキャンセルが保証され、$\text{MM}_n$ の回復が可能になる。