[论文解读] Geometric Median in Nearly Linear Time

Michael B. Cohen, Yin Tat Lee+3 more|arXiv (Cornell University)|Jun 16, 2016

Computational Geometry and Mesh Generation参考文献 3被引用 10

一句话总结

本文提出了一种新颖的近乎线性时间算法，用于在 $\mathbb{R}^d$ 中使用定制的长步长内点法计算 $(1+\epsilon)$-近似几何中位数，实现 $O(nd\log^3 \frac{1}{\epsilon})$ 的时间复杂度。此外，还通过随机次梯度下降提出了一种更快的 $O(d\epsilon^{-2})$ 算法，两者均显著优于先前的超线性时间方法。

ABSTRACT

In this paper we provide faster algorithms for solving the geometric median problem: given $n$ points in $\mathbb{R}^{d}$ compute a point that minimizes the sum of Euclidean distances to the points. This is one of the oldest non-trivial problems in computational geometry yet despite an abundance of research the previous fastest algorithms for computing a $(1+ε)$-approximate geometric median were $O(d\cdot n^{4/3}ε^{-8/3})$ by Chin et. al, $ ilde{O}(d\exp{ε^{-4}\logε^{-1}})$ by Badoiu et. al, $O(nd+\mathrm{poly}(d,ε^{-1})$ by Feldman and Langberg, and $O((nd)^{O(1)}\log\frac{1}ε)$ by Parrilo and Sturmfels and Xue and Ye. In this paper we show how to compute a $(1+ε)$-approximate geometric median in time $O(nd\log^{3}\frac{1}ε)$ and $O(dε^{-2})$. While our $O(dε^{-2})$ is a fairly straightforward application of stochastic subgradient descent, our $O(nd\log^{3}\frac{1}ε)$ time algorithm is a novel long step interior point method. To achieve this running time we start with a simple $O((nd)^{O(1)}\log\frac{1}ε)$ time interior point method and show how to improve it, ultimately building an algorithm that is quite non-standard from the perspective of interior point literature. Our result is one of very few cases we are aware of outperforming traditional interior point theory and the only we are aware of using interior point methods to obtain a nearly linear time algorithm for a canonical optimization problem that traditionally requires superlinear time. We hope our work leads to further improvements in this line of research.

研究动机与目标

• 开发更快的算法以计算 $n$ 个点在 $\mathbb{R}^d$ 中的几何中位数。
• 克服先前方法的局限性，这些方法需要超线性时间，尤其是 $O((nd)^{O(1)}\log \frac{1}{\epsilon})$ 或更差的时间复杂度。
• 在 $n$ 和 $d$ 上实现近乎线性时间复杂度，用于计算 $(1+\epsilon)$-近似几何中位数。
• 将结果扩展到具有非负权重的加权几何中位数问题。

提出的方法

• 设计一种专为几何中位数问题量身定制的新型长步长内点法，实现近乎线性时间的迭代。
• 通过高效的线性代数和采样技术，在近乎线性时间内实现内点法的每次迭代。
• 使用采样预言机的随机次梯度下降，实现 $O(d\epsilon^{-2})$ 的时间复杂度。
• 应用权重缩减技术，将加权几何中位数问题转化为具有 $O(n\epsilon^{-1})$ 个点的等价无权问题。
• 在随机次梯度下降过程中，利用别名法实现高效的加权采样。
• 集成鲁棒性分析，确保在扰动下收敛和精度，从而提供严格的性能保证。

实验结果

研究问题

• RQ1 能否在 $n$ 和 $d$ 上实现近乎线性时间复杂度，用于计算 $(1+\epsilon)$-近似解的几何中位数问题？
• RQ2 内点法能否被调整以实现对传统上需要超线性时间的典型优化问题的近乎线性时间求解？
• RQ3 如何对随机次梯度下降进行严格分析和优化，以实现几何中位数计算的可证明收敛性？
• RQ4 能否将加权几何中位数问题减少到无权情况，且时间复杂度的开销最小？
• RQ5 几何中位数的哪些结构特性使得通过非标准内点变体能够实现更快的收敛？

主要发现

• 本文实现了 $O(nd\log^3 \frac{1}{\epsilon})$ 时间复杂度的算法，用于计算 $(1+\epsilon)$-近似几何中位数，优于先前的 $O((nd)^{O(1)}\log \frac{1}{\epsilon})$ 方法。
• 通过随机次梯度下降提供了一种 $O(d\epsilon^{-2})$ 时间复杂度的算法，对于基于采样的方法而言，这是最优的（仅相差对数因子）。
• 作者提出了一种非标准的长步长内点法，其性能优于传统内点理论，这是少数几个使内点法突破超线性时间壁垒的案例之一。
• 加权几何中位数问题被转化为具有 $O(n\epsilon^{-1})$ 个点的无权问题，通过隐式表示实现相同的渐近时间界限。
• 该算法的运行时间可进一步优化为 $O(z\log^3 \frac{n}{\epsilon})$，其中 $z$ 是输入点中非零条目的数量。
• 该工作为在凸优化中以近乎线性时间使用内点法建立了新的理论基础，具有潜在的广泛影响。