[论文解读] Faster Matrix Multiplication via Asymmetric Hashing

Ran Duan, Hongxun Wu+1 more|arXiv (Cornell University)|Oct 18, 2022

Tensor decomposition and applications被引用 9

一句话总结

本文提出一种非对称哈希方法，以减少在分析 Coppersmith-Winograd 张量高阶幂时的'组合损失'，从而实现更快矩阵乘法的更紧上界。通过以该方法重新分析该张量的八次幂，作者获得了新的上界 ω < 2.371866，优于先前的最佳结果 ω < 2.372860，并打破了此前认为不可逾越的 2.3725 下限猜想。

ABSTRACT

Fast matrix multiplication is one of the most fundamental problems in algorithm research. The exponent of the optimal time complexity of matrix multiplication is usually denoted by $ω$. This paper discusses new ideas for improving the laser method for fast matrix multiplication. We observe that the analysis of higher powers of the Coppersmith-Winograd tensor [Coppersmith &amp; Winograd 1990] incurs a "combination loss", and we partially compensate for it using an asymmetric version of CW's hashing method. By analyzing the eighth power of the CW tensor, we give a new bound of $ω&lt;2.371866$, which improves the previous best bound of $ω&lt;2.372860$ [Alman &amp; Vassilevska Williams 2020]. Our result breaks the lower bound of $2.3725$ in [Ambainis, Filmus &amp; Le Gall 2015] because of the new method for analyzing component (constituent) tensors.

研究动机与目标

• 解决在递归分析高阶张量幂时出现的'组合损失'问题，该问题限制了快速矩阵乘法指数 ω 的改进。
• 开发一种新颖的非对称哈希技术，以补偿激光法中相邻递归层级之间的结构损失。
• 通过更精确地重新分析 Coppersmith-Winograd 张量的八次幂，改进 ω 的上界。
• 打破此前认为不可逾越的 ω 的 2.3725 下限猜想，该猜想曾被认为在传统分析方法下无法突破。
• 证明仅通过分析八次幂并结合非对称哈希，即可超越以往需要更高阶幂才能达到的界限。

提出的方法

• 作者提出一种专为减少跨递归层级的张量分量相互作用所引发的'组合损失'而设计的非对称哈希方法。
• 将该方法应用于 Coppersmith-Winograd 张量的八次幂，通过改进激光法中的退化过程，以保留更多矩阵乘法分量。
• 关键创新在于使用依赖于参数的受限分裂值边界，其中对每个分量优化多个值对，而非仅使用单一边界。
• 优化过程采用两阶段凸规划方法：首先固定中间参数以稳定复杂项，然后通过软最小化优化边缘分布以提升收敛性。
• 该方法借鉴了对精细激光法的先前工作，但引入了对张量分量的非对称处理，以更好地捕捉结构增益。
• 通过 MATLAB 结合 CVX 和 Mosek 进行数值验证，确认 V_τ^(6)(CW₅^⊗⁸) > 7⁸ + 9，从而推出 ω ≤ 2.371866。

实验结果

研究问题

• RQ1 能否系统性地减少高阶张量分析中的'组合损失'，以改进 ω 的上界？
• RQ2 在将张量幂退化为矩阵乘法分量时，非对称哈希是否相较于对称方法具有结构优势？
• RQ3 通过改进分析技术，仅分析八次幂是否能获得比以往更紧的 ω 上界，而无需使用更高阶幂？
• RQ4 在标准分析方法下，此前猜想的 ω 的 2.3725 下限是否真的不可突破？
• RQ5 参数优化与分量级值对选择在多大程度上能增强激光法的有效性？

主要发现

• 通过使用非对称哈希分析 Coppersmith-Winograd 张量的八次幂，本文实现了新的上界 ω < 2.371866。
• 该结果优于 Alman 和 Vassilevska Williams（2020）建立的先前最佳结果 ω < 2.372860。
• 该方法打破了此前认为不可逾越的 ω 的 2.3725 下限猜想，该猜想曾被认为在传统分析框架下无法突破。
• 对于二次幂，该方法得出 ω < 2.374631，优于 Coppersmith 和 Winograd（1990）得出的先前结果 ω < 2.375477。
• 改进并非通过增加张量幂次实现，而是通过非对称分量处理与优化参数选择，对低阶幂次进行更精细的分析。
• 作者提供了开源代码与数据以供验证，通过受限分裂值的递归验证确认了结果的正确性。