[論文レビュー] Faster Matrix Multiplication via Asymmetric Hashing

Ran Duan, Hongxun Wu+1 more|arXiv (Cornell University)|Oct 18, 2022

Tensor decomposition and applications被引用数 9

ひとこと要約

この論文は、コッパースミス＝ワイングラッドテンソルの高次結合解析における'組み合わせ損失'を低減する非対称ハッシュ化手法を導入し、高速行列乗算の指数ωに対するより緊密な上限を得ることを可能にする。本手法を用いてテンソルの8乗を再分析することで、ω < 2.371866 という新たな上限が得られ、以前の最良結果である ω < 2.372860 よりも向上し、かつ以前に予想されていた2.3725の下限をも破った。

ABSTRACT

Fast matrix multiplication is one of the most fundamental problems in algorithm research. The exponent of the optimal time complexity of matrix multiplication is usually denoted by $ω$. This paper discusses new ideas for improving the laser method for fast matrix multiplication. We observe that the analysis of higher powers of the Coppersmith-Winograd tensor [Coppersmith &amp; Winograd 1990] incurs a "combination loss", and we partially compensate for it using an asymmetric version of CW's hashing method. By analyzing the eighth power of the CW tensor, we give a new bound of $ω&lt;2.371866$, which improves the previous best bound of $ω&lt;2.372860$ [Alman &amp; Vassilevska Williams 2020]. Our result breaks the lower bound of $2.3725$ in [Ambainis, Filmus &amp; Le Gall 2015] because of the new method for analyzing component (constituent) tensors.

研究の動機と目的

• 再帰的解析における高次テンソル結合の'組み合わせ損失'を是正することにより、高速行列乗算指数ωの向上を制限する要因を解消すること。
• レーザー法における隣接する再帰レベル間の構造的損失を補償する、画期的な非対称ハッシュ化技術の開発。
• 洗練された精度でコッパースミス＝ワイングラッドテンソルの8乗を再分析することにより、ωの上界を向上させること。
• 従来の解析手法では到達不可能とされていた、以前に予想された2.3725のω下限を打ち破ること。
• 非対称ハッシュ化を用いた8乗の解析のみで、従来はより高い次数を必要としていた境界を上回ることを示すこと。

提案手法

• 著者らは、再帰レベル間でのテンソル成分の相互作用に起因する'組み合わせ損失'を低減する目的で、非対称ハッシュ化手法を導入した。
• この手法をコッパースミス＝ワイングラッドテンソルの8乗に適用し、レーザー法における退化プロセスを精緻化することで、より多くの行列乗算成分を保持した。
• 主な革新点は、制限付きスプリット値に対するパラメータ依存の境界を用いることで、各成分に対して一組の境界ではなく複数の値ペアを最適化することである。
• 最適化には2段階の凸計画法を採用：まず中間パラメータを固定して複雑な項を安定化させ、次にソフト最小化を用いてマージナルを精緻化し、収束性を向上させる。
• 洗練されたレーザー法の先行研究を活用しているが、テンソル成分に対して非対称な処理を導入することで、構造的利得をよりよく捉える。
• 数値的検証はMATLABとCVX、Mosekを用いて実施され、V_τ^(6)(CW₅^⊗⁸) > 7⁸ + 9 が成立することが確認され、ω ≤ 2.371866 が示された。

実験結果

リサーチクエスチョン

• RQ1 高次テンソル結合解析における'組み合わせ損失'は、系統的に低減可能であり、ωの上限向上に寄与するか？
• RQ2 非対称ハッシュ化は、テンソルの高次結合を行列乗算成分に退化させる際、対称手法に比べて構造的利点を提供するか？
• RQ3 洗練された解析手法を用いて、8乗の解析のみで、より高い次数を必要としていなかった以前の境界を上回ることができるか？
• RQ4 従来の解析フレームワークでは到達不可能とされた、2.3725のω下限は、本当に打破不可能であったか？
• RQ5 パラメータ最適化と成分ごとの値ペア選択は、レーザー法の有効性をどの程度向上させるか？

主な発見

• 本論文は、非対称ハッシュ化を用いてコッパースミス＝ワイングラッドテンソルの8乗を解析することで、新たな上界 ω < 2.371866 を達成した。
• これは、アーマンとヴァシレフスカ＝ウィリアムズ（2020年）が確立した以前の最良の上限 ω < 2.372860 よりも向上した結果である。
• 本手法は、従来の解析フレームワークでは到達不可能とされていた、以前に予想された2.3725のω下限をも打ち破った。
• 2乗の場合、ω < 2.374631 を得られ、コッパースミスとワイングラッド（1990年）が得た以前の上限 ω < 2.375477 よりも改善された。
• 本研究の向上は、テンソルの次数を増加させたのではなく、非対称な成分処理と最適化されたパラメータ選択による低次の解析の精緻化によって達成された。
• 著者らは、再帰的検証による制限付きスプリット値の正当性を確認するため、検証用のオープンソースコードとデータを提供している。