[论文解读] Dominance Product and High-Dimensional Closest Pair under L_infty

Gold, Omer, Sharir, Micha|arXiv (Cornell University)|Jan 1, 2017

Parallel Computing and Optimization Techniques参考文献 33被引用 124

一句话总结

本文提出了一种新颖的非对称张量幂分析框架，通过使用Coppersmith-Winograd张量的四次幂来改进矩形矩阵乘法的指数。通过在非对称分解和三线性形式的联合提取上进行优化，作者获得了矩阵乘法对偶指数的新下界 α > 0.31389，优于先前的下界 α > 0.30298，并实现了在 L∞ 范数下所有点对最短路径问题等应用的更快算法。

ABSTRACT

Given a set $S$ of $n$ points in \mathbb{R}^d, the Closest Pair problem is to find a pair of distinct points in S at minimum distance. When d is constant, there are efficient algorithms that solve this problem, and fast approximate solutions for general d. However, obtaining an exact solution in very high dimensions seems to be much less understood. We consider the high-dimensional L_\infty Closest Pair problem, where d=n^r for some r > 0, and the underlying metric is L_\infty. We improve and simplify previous results for L_\infty Closest Pair, showing that it can be solved by a deterministic strongly-polynomial algorithm that runs in O(DP(n,d)\log n) time, and by a randomized algorithm that runs in O(DP(n,d)) expected time, where DP(n,d) is the time bound for computing the dominance product for n points in \mathbb{R}^d. That is a matrix D, such that D[i,j] = \bigl| \{k \mid p_i[k] \leq p_j[k]\} \bigr|; this is the number of coordinates at which p_j dominates p_i. For integer coordinates from some interval [-M, M], we obtain an algorithm that runs in ilde{O}\left(\min\{Mn^{\omega(1,r,1)},\, DP(n,d)\} ight) time, where \omega(1,r,1) is the exponent of multiplying an n imes n^r matrix by an n^r imes n matrix. We also give slightly better bounds for DP(n,d), by using more recent rectangular matrix multiplication bounds. Computing the dominance product itself is an important task, since it is applied in many algorithms as a major black-box ingredient, such as algorithms for APBP (all pairs bottleneck paths), and variants of APSP (all pairs shortest paths).

研究动机与目标

• 将高阶张量幂的分析从方阵乘法扩展到更一般的矩形矩阵乘法情形。
• 建立一种系统化的非对称张量幂分解框架，以捕捉矩阵维度之间非均匀的权衡关系。
• 改进对偶指数 α 的已知下界，其中 α 定义为满足 ω(k) = 2 的上确界 k。
• 推导出瓶颈为矩形矩阵乘法的基本问题的更快算法，例如有界权有向图中的所有点对最短路径问题。

提出的方法

• 引入一种广义的张量提取方法，允许对张量的三个模式进行非对称处理，特别是针对Coppersmith-Winograd张量的四次幂。
• 定义并优化一组控制张量分量在不同类型三线性形式之间分配的参数 a(uvw) 和 auvw(ijk)。
• 通过为不同类型的张量（T211、T112 和 T121）引入独立的参数 b 和 ˜b，实现对三种不同类型张量的联合提取，以平衡提取形式的数量。
• 应用Schönhage的渐近和不等式，根据提取形式数量的增长率和所得矩阵积的范数来界定矩阵乘法指数 ω(k)。
• 在整数 q 和有理参数 b、˜b 上优化不等式 MQ^{ω(log R / log Q)} ≤ (q + 2)^4，以最小化 ω(k) 的上界。
• 使用 Maple 进行广泛的数值优化，计算最优参数并推导出不同 k 值下 ω(k) 的最终边界。

实验结果

研究问题

• RQ1 高阶张量幂的分析能否从方阵乘法扩展到矩形矩阵乘法？
• RQ2 何种非对称分解策略能在最小化所得矩阵积范数的同时最大化提取的三线性形式数量？
• RQ3 如何在统一框架下形式化并优化多种张量类型（如 T211、T112、T121）的联合提取？
• RQ4 使用此新方法，从Coppersmith-Winograd张量的四次幂出发，可获得的 ω(k) 的最紧可能上界是什么？
• RQ5 该方法能否在对偶指数 α 上实现显著改进，超越先前的 α > 0.30298 的界限？

主要发现

• 本文在矩阵乘法的对偶指数上获得了新的下界 α > 0.31389，优于先前的 α > 0.30298。
• 首次利用Coppersmith-Winograd张量的四次幂推导出矩形矩阵乘法的边界，对所有 k ≠ 1 的情形均得到了改进的指数 ω(k)。
• 该方法在 k = 0.31389 时实现了指数的实质性改进，此时 ω(k) ≤ 2.000064，显著降低了计算 n × n^k 与 n^k × n 矩阵乘积的成本。
• 该框架在广泛的 k 值范围内实现了对 ω(k) 更紧的边界，尤其在 ω(k) 最接近 2 的低 k 区域取得了最显著的改进。
• 作者提供了一个完整的 Maple 数值优化流水线，源代码公开可用，确保了可复现性，并支持对参数空间的进一步探索。
• 结果证实，对张量幂进行非对称分析对于推动矩阵乘法复杂度的极限至关重要，尤其是在矩形矩阵情形下。