[论文解读] Testing Sparsity over Known and Unknown Bases

Siddharth Barman, Arnab Bhattacharyya+1 more|arXiv (Cornell University)|Aug 3, 2016

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种基于低维线性投影的高效稀疏性属性测试算法，适用于高维向量。引入了两种新颖的测试器：一种用于已知设计矩阵的情况，利用近似Carathéodory定理，实现时间复杂度为多项式的时间复杂度，查询次数为 O(kε⁻² log m)；另一种用于未知矩阵的情况，基于受限等距性质，依赖于鲁棒的高斯宽度表征，查询次数为 O(ε⁻² log p)，两者均达到最优查询复杂度并具有高精度。

ABSTRACT

Sparsity is a basic property of real vectors that is exploited in a wide variety of applications. In this work, we describe property testing algorithms for sparsity that observe a low-dimensional projection of the input. We consider two settings. In the first setting, for a given design matrix A in R^{d x m}, we test whether an input vector y in R^d equals Ax for some k-sparse unit vector x. Our algorithm projects the input onto O(k \eps^{-2} log m) dimensions, accepts if the property holds, rejects if ||y - Ax|| > \eps for any O(k/\eps^2)-sparse vector x, and runs in time polynomial in m. Our algorithm is based on the approximate Caratheodory's theorem. Previously known algorithms that solve the problem for arbitrary A with qualitatively similar guarantees run in exponential time. In the second setting, the design matrix A is unknown. Given input vectors y_1, y_2,...,y_p in R^d whose concatenation as columns forms Y in R^{d x p} , the goal is to decide whether Y=AX for matrices A in R^{d x m} and X in R^{m x p} such that each column of X is k-sparse, or whether Y is "far" from having such a decomposition. We give such a testing algorithm which projects the input vectors to O(log p/\eps^2) dimensions and assumes that the unknown A satisfies k-restricted isometry. Our analysis gives a new robust characterization of gaussian width in terms of sparsity.

研究动机与目标

• 开发一种基于线性测量的实向量稀疏性属性测试的高效算法。
• 解决当设计矩阵 A 已知或未知时，以最小查询复杂度测试稀疏性的问题。
• 在已知-A 设置下实现多项式时间算法，克服以往具有类似保证但时间复杂度为指数级的解决方案。
• 通过利用受限等距性质和高斯宽度分析，在噪声和未知 A 的情况下提供鲁棒的测试方法。
• 为理论和算法应用建立高斯宽度在稀疏性方面的新型鲁棒表征。

提出的方法

• 在已知设计矩阵设置下，利用近似Carathéodory定理，将稀疏性测试问题转化为低维投影问题。
• 采用维度为 O(kε⁻² log m) 的随机线性投影，以测试 y = Ax 是否成立，其中 x 为某个 k-稀疏单位向量。
• 在未知-A 设置下，应用基于草图的测试器，通过查询 My（M 为随机矩阵），实现 O(ε⁻² log p) 的查询复杂度。
• 依赖于未知矩阵 A 的 (ε,k)-受限等距性质（RIP），以确保稀疏表示的稳定恢复。
• 通过分析扰动集合的高斯宽度，推导出在对抗性噪声下的正确性与完备性保证。
• 利用集中不等式和高斯最大值的尾部界，限制在噪声环境下的估计误差。

实验结果

研究问题

• RQ1 当设计矩阵 A 已知时，是否可以以亚线性查询复杂度高效执行稀疏性测试？
• RQ2 在已知-A 设置下，是否可以实现多项式时间算法，避免使用时间复杂度为指数级的替代方案？
• RQ3 当设计矩阵 A 未知但满足 RIP 时，如何测试稀疏表示？
• RQ4 在噪声环境下，测试稀疏性所需的最少线性测量次数是多少？
• RQ5 我们能否推导出一种新的高斯宽度鲁棒表征，以捕捉高维设置下的稀疏性？

主要发现

• 对于已知 A 的情况，所提出的测试器实现了 O(kε⁻² log m) 的查询复杂度，并且运行时间在 m 上接近多项式，显著优于以往的指数时间算法。
• 若存在某个 k-稀疏单位向量 x 使得 y = Ax，则算法接受；若对任意 O(k/ε²)-稀疏的 x 都有 ||y - Ax|| > ε，则算法以高概率拒绝。
• 在未知-A 设置下，测试器使用 O(ε⁻² log p) 次查询，并能正确识别 Y 是否为 X 的 k-稀疏列的 AX，或是否远离此类分解。
• 在对抗性噪声下，||wi||₂ ≤ O(ε¹/⁴) 且 ||zi||∞ ≤ ε² 时，正确性与完备性保证依然成立，表现出鲁棒性。
• 本文建立了高斯宽度在稀疏性方面的新型鲁棒表征，将其与稀疏集合及其凸包的结构联系起来。
• 分析表明，在噪声模型下，扰动集合的高斯宽度 ω(Ŷ) 被 ω(Sp₄ₖᵐ) 所有界，从而确保以高概率正确接受。