[論文レビュー] Symmetries of matrix multiplication algorithms. I

V. P. Burichenko|arXiv (Cornell University)|Aug 5, 2015

Tensor decomposition and applications参考文献 23被引用数 11

ひとこと要約

この論文は、自動同型群を同定することにより、高速行列乗算アルゴリズムを分析・分類する対称性に基づくフレームワークを導入する。Hopcroftのアルゴリズムの自動同型群が $S_3 \times Z_2$ に同型であることを証明し、Ladermanのアルゴリズムの自動同型群が $S_4$ に同型であることを示しており、これにより符号理論や格子設計における最適化の類推と同様に、このような対称性を活用することでより高速なアルゴリズムの発見が可能になる可能性がある。

ABSTRACT

In this work the algorithms of fast multiplication of matrices are considered. To any algorithm there associated a certain group of automorphisms. These automorphism groups are found for some well-known algorithms, including algorithms of Hopcroft, Laderman, and Pan. The automorphism group is isomorphic to $S_3 imes Z_2$ and $S_4$ for Hopcroft anf Laderman algorithms, respectively. The studying of symmetry of algorithms may be a fruitful idea for finding fast algorithms, by an analogy with well-known optimization problems for codes, lattices, and graphs. {\em Keywords}: Strassen algorithm, symmetry, fast matrix multiplication.

研究の動機と目的

• 既知の高速行列乗算アルゴリズムの自動同型群を調査し、隠れた構造的対称性を解明すること。
• テンソル分解における対称性と行列乗算におけるアルゴリズム的効率との間の正式な枠組みを確立すること。
• 符号理論や格子設計で用いられる手法と同様に、対称性に基づく最適化が、より高速な行列乗算アルゴリズムの発見に応用可能かどうかを検討すること。
• テンソル形式および双線形形式における行列乗算アルゴリズムの自己完結的解説を提供し、対称性アプローチの独立的学習を可能にすること。

提案手法

• 体 $K$ 上の自由な結合的代数におけるテンソルとして、行列乗算アルゴリズムを表現し、双線形演算を記述する3つの行列族 $a_l, b_l, c_l$ を用いる。
• 長さ $r$ の非可換アルゴリズムを、行列積計算の正しさを保証するテンソル恒等式を満たす $r$ 個の三つ組 $(a_l, b_l, c_l)$ の集合として定義する。
• 線形基底変換下でアルゴリズムのテンソル構造を保存する変換の群として、自動同型群 $\mathrm{Aut}(\mathcal{H})$ の概念を導入する。
• 群論的技法、特にテンソル変換 $T(\sigma, b, c)$ を用いた共役作用を用いて、アルゴリズムの基底ベクトルの対称性を分析する。
• テンソル射影 $\mathrm{tpr}_D$、$\mathrm{tpr}_{D'}$、$\mathrm{tpr}_{E}$ を用いて、自動同型の作用を部分空間に制約し、スカラーおよび置換対称性の分類に至る。
• テンソル空間上の自動同型と元のベクトル空間上の変換との関係を、$\tau$-共役を用いた持ち上げ論法により確立し、構造を保存する変換はスカラー倍および置換作用に限られることを証明する。

実験結果

リサーチクエスチョン

• RQ1 Hopcroftの行列乗算アルゴリズムの自動同型群は何か？他の既知のアルゴリズムのそれと比べてどう異なるか？
• RQ2 群論的手法を用いて、高速行列乗算アルゴリズムの対称性構造を体系的に分析・分類できるか？
• RQ3 対称性に基づく不変性原理は、より高速な行列乗算アルゴリズムの構築をどの程度まで支援できるか？
• RQ4 Ladermanのアルゴリズムの対称性はHopcroftのアルゴリズムのそれとどのように異なり、これによりそれらの背後にある代数的構造にどのような示唆があるか？
• RQ5 行列乗算アルゴリズムの自動同型群は、アルゴリズムの同値性の検証や発見に用いるツールとして利用可能か？

主な発見

• Hopcroftの行列乗算アルゴリズムの自動同型群は $S_3 \times Z_2$ に同型であり、高い対称的構造を示している。
• Ladermanのアルゴリズムの自動同型群は $S_4$ に同型であり、Hopcroftのアルゴリズムよりもより複雑な対称的配置を反映している。
• 解析により、アルゴリズムのテンソル構造を保存する任意の自動同型は、スカラー倍および基底ベクトルの置換によって作用しなければならず、テンソル射影の不変性によってこれを証明した。
• $\widetilde{\sigma} \in S_3$ を用いた変換 $g = T(\widetilde{\sigma}, b, c)$ は、自動同型群全体を生成し、群構造 $S_3 \times Z_2$ が確認された。
• 形式 $T(1, b_2, c_2)$ で、アルゴリズムを保存する任意の自動同型は自明（$g_2 = 1$）でなければならないことが証明され、これによりスカラーおよび置換対称性のみが許容されることを示した。
• テンソル射影と群作用を用いて、このフレームワークは対称性を体系的に分類し、アルゴリズムの対称性を分析・比較する厳密な手法を提供した。