[论文解读] Approximate Sparse Linear Regression

Sariel Har-Peled, Piotr Indyk+1 more|arXiv (Cornell University)|Sep 28, 2016

Sparse and Compressive Sensing Techniques参考文献 3被引用 4

一句话总结

本文提出用于稀疏线性回归及相关几何问题的近似算法，利用近似最近邻（ANN）数据结构实现近乎最优的查询时间。对于常数稀疏度 k，其查询时间达到 eO(n^{k-1})，在仿射退化猜想下与条件性下界一致，并提出了具有实际应用意义的新几何子问题，涉及机器学习与计算机视觉领域。

ABSTRACT

In the Sparse Linear Regression (SLR) problem, given a $d imes n$ matrix $M$ and a $d$-dimensional query $q$, the goal is to compute a $k$-sparse $n$-dimensional vector $τ$ such that the error $||M τ-q||$ is minimized. This problem is equivalent to the following geometric problem: given a set $P$ of $n$ points and a query point $q$ in $d$ dimensions, find the closest $k$-dimensional subspace to $q$, that is spanned by a subset of $k$ points in $P$. In this paper, we present data-structures/algorithms and conditional lower bounds for several variants of this problem (such as finding the closest induced $k$ dimensional flat/simplex instead of a subspace). In particular, we present approximation algorithms for the online variants of the above problems with query time $ ilde O(n^{k-1})$, which are of interest in the "low sparsity regime" where $k$ is small, e.g., $2$ or $3$. For $k=d$, this matches, up to polylogarithmic factors, the lower bound that relies on the affinely degenerate conjecture (i.e., deciding if $n$ points in $\mathbb{R}^d$ contains $d+1$ points contained in a hyperplane takes $Ω(n^d)$ time). Moreover, our algorithms involve formulating and solving several geometric subproblems, which we believe to be of independent interest.

研究动机与目标

• 解决在低稀疏度 k 的在线/查询场景下稀疏线性回归（SLR）的计算复杂度问题。
• 为 SLR、仿射 SLR 及凸 SLR 变体开发高效近似算法，并提供可证明的保证。
• 制定并求解如最近诱导 k-平面或 k-单纯形等几何子问题，这些与稀疏建模密切相关。
• 建立条件性下界以理解 SLR 算法性能的极限，依赖于仿射退化猜想。
• 提供一个将几何问题约化为近似最近邻查询的框架，支持实际部署。

提出的方法

• 将稀疏线性回归问题约化为几何问题：在点集 P 中寻找由 k 个点诱导的最近 k 维平面或单纯形。
• 使用 (1+ε)-近似最近邻（ANN）数据结构作为原 primitive，构建 SLR 变体的高效查询数据结构。
• 在每个点 c ∈ P 周围构建星形数据结构，以捕获稀疏表示相关的候选点。
• 应用递归锥体裁剪与距离分析，以控制近似误差，确保在几何约束下实现 (1+ε)-近似。
• 利用当 ANN 距离较小时，标准 ANN 查询已足够；而较大距离则通过锥体与球体的几何剪枝处理。
• 通过对裁剪后的点集（如球体与锥体）进行多个 ANN 查询，模拟完整稀疏回归问题的行为。

实验结果

研究问题

• RQ1 在高维空间中，对于常数稀疏度 k，能否实现稀疏线性回归的亚指数查询时间？
• RQ2 在近线性或近多项式查询时间内，SLR 问题能达到的最佳近似因子是什么？
• RQ3 基于仿射退化猜想的条件性下界如何限制 SLR 算法的性能？
• RQ4 如最近诱导平面或单纯形等几何子问题能否约化为具有有界开销的近似最近邻查询？
• RQ5 在在线 SLR 场景下，空间、查询时间与近似质量之间的权衡如何？

主要发现

• 当 k = 2 时，本文对最近诱导线段问题实现了 (2 + ε)-近似，查询时间为 O(n log n + n/ε^d)，与已知下界相比仅差对数因子。
• 所提出的近似最近诱导线段算法使用 O(S(n, ε)n log n) 空间和 O(TQ(n, ε)nε^{-2} log n) 查询时间，其中 S 和 TQ 分别为底层 (1+ε)-ANN 结构的空间与查询时间。
• 对于一般 k-稀疏情形，查询时间为 eO(n^{k-1})，当 k = d 时与仿射退化猜想下的条件性下界一致。
• 该框架将 SLR 问题约化为一系列在精心构造点集上执行的 (1+ε/4)-ANN 查询，确保以高概率实现 (1+ε)-近似。
• 分析表明，当 ANN 距离较小时（O(√ε r)），标准 ANN 查询已足够；否则，通过锥体与球体的几何剪枝可保证误差有界。
• 本文证明空间开销仅为 n 的对数因子，使该方法在低稀疏度的大规模数据中具有实际可行性。