[论文解读] High-Dimensional Regression with Binary Coefficients. Estimating Squared Error and a Phase Transition

David Gamarnik, Ilias Zadik|arXiv (Cornell University)|Jan 16, 2017

Sparse and Compressive Sensing Techniques参考文献 49被引用 5

一句话总结

本文研究了在稀疏性条件下高维线性回归中二值系数的恢复问题，采用一种新颖的条件二阶矩方法，对最小平方误差进行紧致估计。研究识别出在 $ n^* = 2k\log p / \log(2k/\sigma^2 + 1) $ 处存在一个尖锐的相变点，此时从信息论角度实现真实支撑集的恢复成为可能，并建立了重叠间隙性质（OGP），表明在 LASSO/压缩感知阈值以下存在算法上的困难。

ABSTRACT

We consider a sparse linear regression model Y=Xβ^{*}+W where X has a Gaussian entries, W is the noise vector with mean zero Gaussian entries, and β^{*} is a binary vector with support size (sparsity) k. Using a novel conditional second moment method we obtain a tight up to a multiplicative constant approximation of the optimal squared error \min_β\|Y-Xβ\|_{2}, where the minimization is over all k-sparse binary vectors β. The approximation reveals interesting structural properties of the underlying regression problem. In particular, a) We establish that n^*=2k\log p/\log (2k/σ^{2}+1) is a phase transition point with the following "all-or-nothing" property. When n exceeds n^{*}, (2k)^{-1}\|β_{2}-β^*\|_0\approx 0, and when n is below n^{*}, (2k)^{-1}\|β_{2}-β^*\|_0\approx 1, where β_2 is the optimal solution achieving the smallest squared error. With this we prove that n^{*} is the asymptotic threshold for recovering β^* information theoretically. b) We compute the squared error for an intermediate problem \min_β\|Y-Xβ\|_{2} where minimization is restricted to vectors βwith \|β-β^{*}\|_0=2k ζ, for ζ\in [0,1]. We show that a lower bound part Γ(ζ) of the estimate, which corresponds to the estimate based on the first moment method, undergoes a phase transition at three different thresholds, namely n_{ ext{inf,1}}=σ^2\log p, which is information theoretic bound for recovering β^* when k=1 and σis large, then at n^{*} and finally at n_{ ext{LASSO/CS}}. c) We establish a certain Overlap Gap Property (OGP) on the space of all binary vectors βwhen n\le ck\log p for sufficiently small constant c. We conjecture that OGP is the source of algorithmic hardness of solving the minimization problem \min_β\|Y-Xβ\|_{2} in the regime n

研究动机与目标

• 刻画高维线性回归中二值系数向量支撑集恢复的信息论极限。
• 通过条件二阶矩方法，推导出对 $k$-稀疏二值回归系数的最小平方误差的紧致近似。
• 识别出精确支撑集恢复成为可能或不可能的相变点 $n^*$。
• 通过低样本量下的重叠间隙性质（OGP）研究该问题的算法困难性。
• 将信息论阈值 $n^*$ 与 LASSO/压缩感知阈值 $n_{\text{LASSO/CS}}$ 进行比较。

提出的方法

• 作者采用一种新颖的条件二阶矩方法，对 $k$-稀疏二值 $\beta$ 上的最小平方误差 $\min_\beta \|Y - X\beta\|_2^2$ 进行估计。
• 通过汉明距离 $\|\beta_2 - \beta^*\|_0$ 分析最优解 $\beta_2$ 相对于真实 $\beta^*$ 的行为。
• 通过研究平方误差随样本量 $n$ 变化的渐近行为，推导出 $n^*$ 处的相变。
• 计算在距离 $\beta^*$ 汉明距离为 $2k\zeta$ 的解的最小误差下界 $\Gamma(\zeta)$，揭示出多个阈值。
• 在 $n \leq ck\log p$ 时建立重叠间隙性质（OGP），表明在低 $n$ 区域可能存在算法困难。
• 分析与统计物理及约束满足问题的联系，表明 OGP 可能解释在 $n_{\text{LASSO/CS}}$ 以下恢复问题的不可解性。

实验结果

研究问题

• RQ1 在高维线性回归中，对 $k$-稀疏二值系数向量 $\beta^*$ 的精确支撑集恢复，其信息论阈值是什么？
• RQ2 当在 $k$-稀疏二值 $\beta$ 上最小化时，最小平方误差如何随样本量 $n$ 变化？
• RQ3 重叠间隙性质（OGP）在解释恢复问题中的算法困难性方面起什么作用？
• RQ4 在问题的相图中，阈值 $n^*$、$n_{\text{inf,1}} = \sigma^2\log p$ 和 $n_{\text{LASSO/CS}} = (2k + \sigma^2)\log p$ 之间有何关系？
• RQ5 当 $n < n^*$ 时，是否仍能恢复 $\beta^*$ 的支撑集的某个常数比例，还是 $n^*$ 是任何有意义恢复的根本极限？

主要发现

• 相变点 $n^* = 2k\log p / \log(2k/\sigma^2 + 1)$ 将不同区域分开：当 $n > n^*$ 时，最优解 $\beta_2$ 接近 $\beta^*$（此时 $\|\beta_2 - \beta^*\|_0 / (2k) \approx 0$）；当 $n < n^*$ 时，$\beta_2$ 几乎与 $\beta^*$ 正交（此时 $\|\beta_2 - \beta^*\|_0 / (2k) \approx 1$）。
• 阈值 $n^*$ 严格低于 LASSO/压缩感知阈值 $n_{\text{LASSO/CS}} = (2k + \sigma^2)\log p$，表明信息论极限与算法极限之间存在差距。
• 一阶矩下界 $\Gamma(\zeta)$ 在最小误差上的表现具有非单调性，显示出三个不同的阈值：$n_{\text{inf,1}} = \sigma^2\log p$、$n^*$ 和 $n_{\text{LASSO/CS}}$，暗示解空间结构发生改变。
• 当 $n \leq ck\log p$ 且常数 $c$ 较小时，二值向量空间中成立重叠间隙性质（OGP），意味着所有与 $\beta^*$ 处于中间汉明距离的解均非最优，这可能解释了算法困难性。
• OGP 表明，当 $n < n_{\text{LASSO/CS}}$ 时，即使 $n^*$ 是精确恢复的信息论阈值，任何高效算法也无法找到接近 $\beta^*$ 的解。
• 本文猜想，当 $n < n^*$ 时，甚至恢复 $\beta^*$ 的常数比例支撑集也是不可能的，且 $n_{\text{inf,1}}$ 标记了一个几何阈值，此时 $\beta^*$ 在误差函数的汉明距离空间中从非局部极小值转变为局部极小值。