[论文解读] Faster Algorithm for Structured John Ellipsoid Computation

Cao, Yang, Li, Xiaoyu+3 more|arXiv (Cornell University)|Nov 26, 2022

Polynomial and algebraic computation被引用 5

一句话总结

本文提出了一种更快的约翰椭球计算算法——即在由矩阵 $A \in \mathbb{R}^{n \times d}$ 定义的中心对称多面体中，计算最大体积内接椭球。该方法利用随机化采样和杠杆度数采样技术，显著提升了计算效率。对于稀疏矩阵，算法达到近乎输入稀疏性的时间复杂度 $\operatorname{nnz}(A) + d^{\omega}$；对于小树宽 $\tau$ 的矩阵，时间复杂度为 $n\tau^2$，显著优于先前工作中的 $O(nd^2)$ 上限。

ABSTRACT

The famous theorem of Fritz John states that any convex body has a unique maximal volume inscribed ellipsoid, known as the John Ellipsoid. Computing the John Ellipsoid is a fundamental problem in convex optimization. In this paper, we focus on approximating the John Ellipsoid inscribed in a convex and centrally symmetric polytope defined by $ P := \{ x \in \mathbb{R}^d : -\mathbf{1}_n \leq A x \leq \mathbf{1}_n \},$ where $ A \in \mathbb{R}^{n imes d} $ is a rank-$d$ matrix and $ \mathbf{1}_n \in \mathbb{R}^n $ is the all-ones vector. We develop two efficient algorithms for approximating the John Ellipsoid. The first is a sketching-based algorithm that runs in nearly input-sparsity time $ \widetilde{O}(\mathrm{nnz}(A) + d^ω) $, where $ \mathrm{nnz}(A) $ denotes the number of nonzero entries in the matrix $A$ and $ ω\approx 2.37$ is the current matrix multiplication exponent. The second is a treewidth-based algorithm that runs in time $ \widetilde{O}(n τ^2)$, where $τ$ is the treewidth of the dual graph of the matrix $A$. Our algorithms significantly improve upon the state-of-the-art running time of $ \widetilde{O}(n d^2) $ achieved by [Cohen, Cousins, Lee, and Yang, COLT 2019].

研究动机与目标

• 加速由矩阵 $A \in \mathbb{R}^{n \times d}$ 定义的中心对称多面体的约翰椭球计算。
• 克服先前工作 [CCLY19] 中因重复进行 Cholesky 分解和线性系统求解而产生的 $O(nd^2)$ 性能瓶颈。
• 利用随机化采样和杠杆度数采样，降低 $\ell_\infty$ 杠杆度数固定点迭代中每轮的计算成本。
• 利用 $A$ 中的低树宽结构，进一步加速计算，实现每轮迭代 $O(n\tau^2)$ 的时间复杂度。

提出的方法

• 提出一种基于随机化采样的算法，通过随机采样近似二次型 $a^\top B^{-1}a$，从而替代昂贵的 Cholesky 分解。
• 在 $\sqrt{W}A$ 上应用杠杆度数采样，以稀疏化矩阵 $A^\top W A$，确保在高概率下保持谱近似。
• 利用矩阵切尔诺夫不等式，保证采样后的矩阵 $\widetilde{H}(w)$ 几乎必然满足 $(1-\epsilon_0)H(w) \preceq \widetilde{H}(w) \preceq (1+\epsilon_0)H(w)$。
• 提出一种树宽感知算法，利用 $A^\top A$ 的消去树结构，在每轮迭代中以 $O(n\tau^2)$ 时间完成矩阵-向量乘积。
• 设计一种基于采样矩阵的 $\ell_\infty$ 杠杆度数固定点迭代，收敛于 $O(\epsilon^{-1} \log(n/d))$ 轮迭代内。
• 优化输出结构，避免显式计算 $A^\top V A$，仅存储矩阵 $A$ 和权重向量 $v$。

实验结果

研究问题

• RQ1 我们能否将一般稀疏矩阵的约翰椭球计算每轮迭代成本降低至 $O(nd^2)$ 以下？
• RQ2 能否通过随机化采样技术，实现稀疏矩阵的输入稀疏性时间复杂度 $\widetilde{O}(\operatorname{nnz}(A) + d^\omega)$？
• RQ3 我们能否利用 $A$ 中的低树宽结构，实现优于 $O(nd^2)$ 的计算速度？
• RQ4 结合随机化采样与杠杆度数采样的方法，是否能保持固定点迭代中收敛所需的谱性质？

主要发现

• 对于稀疏矩阵，该算法的时间复杂度为 $O(\epsilon^{-1} \log(n/\delta) \cdot (\operatorname{nnz}(A) + \epsilon^{-1} d^\omega))$，达到近乎输入稀疏性。
• 对于树宽为 $\tau$ 的矩阵，该算法每轮迭代的时间复杂度为 $O(n\tau^2)$，与 $d$ 无关。
• 该算法保证输出的椭球 $Q$ 满足 $\frac{1}{\sqrt{1+\epsilon}} Q \subseteq P \subseteq \sqrt{d} Q$，从而保证体积近似性。
• 当 $n \geq d^\omega$ 且 $\epsilon \in (1/d, 1)$ 时，新算法在所有情况下均优于 [CCLY19]；对于树宽小的矩阵，优势更为显著。
• 随机化采样技术将每轮迭代成本从 $O(nd^2)$ 降低至 $O(\epsilon^{-1} \operatorname{nnz}(A) + \epsilon^{-2} d^\omega)$，并提供高概率下的谱保证。
• 当 $\tau \ll d$ 时，基于树宽的算法每轮迭代成本为 $O(n\tau^2)$，始终优于 [CCLY19] 的 $O(nd^2)$。