[论文解读] Lifting high-dimensional nonlinear models with Gaussian regressors

Christos Thrampoulidis, Ankit Singh Rawat|arXiv (Cornell University)|Dec 11, 2017

Statistical Methods and Inference参考文献 15被引用 5

一句话总结

本文提出一种凸优化方法，将具有高斯回归器的高维非线性模型提升至更高维空间，即使在标准Lasso失效时（特别是当线性信号系数μℓ消失的偶函数链接函数下）也能恢复结构化信号。该方法实现了可证明的误差界，其依赖于非线性程度与问题几何结构，通过简单的汇总参数表达。

ABSTRACT

We study the problem of recovering a structured signal $\mathbf{x}_0$ from high-dimensional data $\mathbf{y}_i=f(\mathbf{a}_i^T\mathbf{x}_0)$ for some nonlinear (and potentially unknown) link function $f$, when the regressors $\mathbf{a}_i$ are iid Gaussian. Brillinger (1982) showed that ordinary least-squares estimates $\mathbf{x}_0$ up to a constant of proportionality $μ_\ell$, which depends on $f$. Recently, Plan & Vershynin (2015) extended this result to the high-dimensional setting deriving sharp error bounds for the generalized Lasso. Unfortunately, both least-squares and the Lasso fail to recover $\mathbf{x}_0$ when $μ_\ell=0$. For example, this includes all even link functions. We resolve this issue by proposing and analyzing an alternative convex recovery method. In a nutshell, our method treats such link functions as if they were linear in a lifted space of higher-dimension. Interestingly, our error analysis captures the effect of both the nonlinearity and the problem's geometry in a few simple summary parameters.

研究动机与目标

• 解决普通最小二乘法与广义Lasso在链接函数为偶函数时（导致μℓ = 0）无法恢复结构化信号的问题。
• 为标准方法失效的非线性类别（如偶函数链接函数）设计一种仍有效的凸恢复方法。
• 为具有高斯设计矩阵的高维、非线性测量模型提供可证明的信号恢复性能保证。
• 通过少数可解释的汇总参数，在误差分析中捕捉非线性与问题几何结构的综合影响。
• 即使因非线性导致幅度信息丢失，仍能实现与真实信号相关性意义上的弱恢复。

提出的方法

• 提出一个凸规划，将非线性测量视为在提升的高维空间中为线性问题处理。
• 利用链接函数f的结构与回归器的高斯性质，定义提升后的优化问题。
• 采用带结构化正则项的正则化凸规划，以利用关于x₀的先验知识（如稀疏性）。
• 引入对偶分析框架，通过μℓ与τℓ量化非线性对误差的影响。
• 应用Hanson-Wright不等式与ε-网论证，控制加权随机外积和的谱范数。
• 推导出依赖于稀疏度k、环境维度n、样本量m以及链接函数统计特性的误差界。

实验结果

研究问题

• RQ1 当标准Lasso因μℓ = 0而失效时，能否从高维非线性测量中恢复结构化信号？
• RQ2 如何设计一种凸恢复方法，使其在偶函数链接函数及其他线性方法失效的非线性情形下仍有效？
• RQ3 该方法在非线性与问题几何结构下的可证明误差界是什么？
• RQ4 该方法能否灵活整合如稀疏性等结构先验，同时保持强理论保证？
• RQ5 汇总参数μℓ与τℓ如何捕捉非线性与设计矩阵结构的综合影响？

主要发现

• 所提方法即使在μℓ = 0时（如所有偶函数链接函数）也能成功恢复真实信号x₀，而标准Lasso则失效。
• 估计误差有界：‖x̂ − μℓ·x₀‖₂ ≲ τℓ·√(k log(n/k))/√m，当使用提升方法时，即使μℓ = 0，该界仍有效。
• 提升空间中的误差界依赖于稀疏度k、维度n、样本量m以及链接函数的统计矩μℓ与τℓ。
• 在假设‖x₀‖₂ = 1的条件下，该方法能以高相关性实现弱恢复。
• 理论分析表明，通过Hanson-Wright不等式与ε-网论证，可控制高斯外积和的谱范数。
• 最终误差界以高概率呈O(1/√m)量级，且对k与n的依赖性通过log(n/k)与k²项在方差代理中体现。