[论文解读] Sublinear Time Low-Rank Approximation of Distance Matrices

Ainesh Bakshi, David P. Woodruff|arXiv (Cornell University)|Sep 19, 2018

Blind Source Separation Techniques参考文献 17被引用 10

一句话总结

本文提出了一种在任意度量空间中对距离矩阵进行低秩逼近的亚线性时间算法，利用三角不等式和欧几里得距离矩阵的性质。该算法在亚线性时间内实现了加法误差保证，并针对平方欧几里得距离获得了相对误差双准则解，通过递归采样和投影成本保持技术实现亚线性正定矩阵逼近。

ABSTRACT

Let $\mathbf{P}=\{ p_1, p_2, \ldots p_n \}$ and $\mathbf{Q} = \{ q_1, q_2 \ldots q_m \}$ be two point sets in an arbitrary metric space. Let $\mathbf{A}$ represent the $m imes n$ pairwise distance matrix with $\mathbf{A}_{i,j} = d(p_i, q_j)$. Such distance matrices are commonly computed in software packages and have applications to learning image manifolds, handwriting recognition, and multi-dimensional unfolding, among other things. In an attempt to reduce their description size, we study low rank approximation of such matrices. Our main result is to show that for any underlying distance metric $d$, it is possible to achieve an additive error low-rank approximation in sublinear time. We note that it is provably impossible to achieve such a guarantee in sublinear time for arbitrary matrices $\mathbf{A}$, and consequently our proof exploits special properties of distance matrices. We develop a recursive algorithm based on additive projection-cost preserving sampling. We then show that in general, relative error approximation in sublinear time is impossible for distance matrices, even if one allows for bicriteria solutions. Additionally, we show that if $\mathbf{P} = \mathbf{Q}$ and $d$ is the squared Euclidean distance, which is not a metric but rather the square of a metric, then a relative error bicriteria solution can be found in sublinear time.

研究动机与目标

• 开发用于在任意度量空间中由成对距离构成的距离矩阵的亚线性时间低秩逼近算法。
• 确定对于一般距离矩阵，是否可以在亚线性时间内实现相对误差逼近。
• 探索在何种条件下可以亚线性时间计算相对误差双准则解，特别是针对平方欧几里得距离。
• 利用距离矩阵的结构性质——如三角不等式和分解为正定分量——以绕过针对一般矩阵已知的 $\tilde{\tilde{O}}(mn)$ 下界。

提出的方法

• 该算法使用加法投影成本保持采样，递归地对距离矩阵的行和列进行采样，以确保误差界得以保持。
• 对于平方欧几里得距离，将矩阵分解为三个分量：$\mathbf{A}_1$、$\mathbf{A}_2$ 和 $\mathbf{B}$，其中 $\mathbf{B}$ 是正定（PSD）矩阵。
• 该方法通过模拟 Musco-Woodruff 算法来实现对 PSD 分量 $\mathbf{B}$ 的亚线性低秩逼近，该算法的时间复杂度为 $O(n \cdot \mathrm{poly}(k/\epsilon))$。
• 算法计算采样列的正交基 $\mathbf{V}$，并附加两个额外向量 $\mathbf{a}_1, \mathbf{a}_2$，以形成一个秩为 $(k+4)$ 的投影矩阵 $\mathbf{W}\mathbf{W}^T$。
• 通过将残差的弗罗贝尼乌斯范数与 PSD 分量 $\mathbf{B}$ 的逼近误差关联，来界定逼近误差，使用恒等式 $\|\mathbf{A} - \mathbf{A}\mathbf{W}\mathbf{W}^T\|_F \leq 2\|\mathbf{B}(\mathbb{I} - \mathbf{W}\mathbf{W}^T)\|_F$。
• 该方法确保所得的秩-$(k+4)$ 逼近满足相对误差保证：$\|\mathbf{A} - \mathbf{A}\mathbf{W}\mathbf{W}^T\|_F \leq (1+\epsilon)\|\mathbf{A} - \mathbf{A}_k\|_F$。

实验结果

研究问题

• RQ1 是否可以在亚线性时间内计算任意距离矩阵的加法误差低秩逼近？
• RQ2 对于一般距离矩阵，是否可能在亚线性时间内实现相对误差低秩逼近？
• RQ3 在何种条件下可以对距离矩阵亚线性时间计算相对误差双准则解？
• RQ4 距离矩阵的结构性质——如三角不等式和分解为正定分量——如何实现亚线性逼近？

主要发现

• 本文证明，任意度量空间中任意距离矩阵的加法误差低秩逼近可在亚线性时间内完成，具体时间为 $O(n \cdot \mathrm{poly}(k/\epsilon))$。
• 对于一般距离矩阵，即使采用双准则松弛，亚线性时间内的相对误差逼近在理论上也是不可能的。
• 当距离为平方欧几里得距离且 $\mathcal{P} = \mathcal{Q}$ 时，可通过将矩阵分解为 $\mathbf{A}_1 + \mathbf{A}_2 - 2\mathbf{B}$（其中 $\mathbf{B}$ 为 PSD）在亚线性时间内计算出相对误差双准则解。
• 该算法实现了秩-$(k+4)$ 的逼近，使得 $\|\mathbf{A} - \mathbf{A}\mathbf{W}\mathbf{W}^T\|_F \leq (1+\epsilon)\|\mathbf{A} - \mathbf{A}_k\|_F$ 成立，且概率很高。
• 该方法依赖于仅通过距离矩阵的随机访问和额外 $n-1$ 个条目，来模拟 $\mathbf{B}$ 的亚线性正定低秩逼近。