[论文解读] Regularization and the small-ball method I: sparse recovery

Guillaume Lecué, Shahar Mendelson|arXiv (Cornell University)|Jan 21, 2016

Numerical methods in inverse problems被引用 4

一句话总结

本文通过将估计误差率与正则化范数的几何性质及设计向量的小球行为相联系，提出了一套统一的框架，用于分析稀疏恢复中的正则化程序。该框架表明，误差率取决于经验过程的临界水平 r(ρ) 以及惩罚范数 Ψ 在真实函数附近的次微分大小，从而在子高斯或次指数噪声下，为 LASSO、SLOPE 和迹范数正则化提供了精确的界。

ABSTRACT

We obtain bounds on estimation error rates for regularization procedures of the form \begin{equation*} \hat f \in { m argmin}_{f\in F}\left(\frac{1}{N}\sum_{i=1}^N\left(Y_i-f(X_i) ight)^2+\lambda \Psi(f) ight) \end{equation*} when $\Psi$ is a norm and $F$ is convex. Our approach gives a common framework that may be used in the analysis of learning problems and regularization problems alike. In particular, it sheds some light on the role various notions of sparsity have in regularization and on their connection with the size of subdifferentials of $\Psi$ in a neighbourhood of the true minimizer. As `proof of concept' we extend the known estimates for the LASSO, SLOPE and trace norm regularization.

研究动机与目标

• 开发一个统一的理论框架，用于分析高维统计学习中的正则化程序。
• 阐明 ℓ1、SLOPE 和迹范数等诱导稀疏性的范数在实现稀疏恢复误差率中的作用。
• 识别控制正则化中估计误差的关键几何与概率参数，特别是 r(ρ) 和 ∆(ρ)。
• 通过一种通用且统一的方法，扩展已知的 LASSO、SLOPE 和迹范数正则化的界。

提出的方法

• 提出一种通用的正则化方案：f̂ ∈ argmin_{f∈F} (1/N)∑(Yi−f(Xi))² + λΨ(f)，其中 Ψ 为一个范数，F 为一个凸集。
• 将临界水平 r(ρ) 定义为在集合 Fρ = {f∈F : Ψ(f−f∗)≤ρ} 中学习的极小极大误差率。
• 通过集合 Γf∗(ρ) 分析 f∗ 附近次微分 ∂Ψ(f) 的大小，该集合捕捉了 f∗ 邻域内次梯度的大小。
• 利用小球方法控制经验过程，并通过参数 ∆(ρ) 推导出高概率误差界，∆(ρ) 衡量了 f∗ 与其他候选解之间的分离程度。
• 应用链式法与主要测度技术，控制类 Fρ 的复杂度，并推导出 r(ρ) 与 rM(ρ) 的界。
• 通过将 λ 与 r²(ρ)/ρ 相关联，并在设计向量的几何与概率条件满足时，确保 ∆(ρ)≥4ρ/5，从而推导出显式的误差界。

实验结果

研究问题

• RQ1 如何通过单一框架统一分析 LASSO、SLOPE 和迹范数正则化等多样化正则化程序？
• RQ2 惩罚范数 Ψ 的次微分在确定估计误差率中的精确作用是什么？
• RQ3 设计向量的小球性质如何影响稀疏恢复中的误差界？
• RQ4 为何 ℓ1 或迹范数等范数能导致基于稀疏性的误差率，尽管它们并未显式与稀疏性关联？
• RQ5 在高维设置下，Fρ 的度量复杂性与经验过程的概率行为之间存在何种相互作用？

主要发现

• 对于 LASSO，当 λ ∼ ∥ξ∥Lq / √N 且 N ≳ s log(ed/s) 时，可恢复误差率 ∥t̂−t∗∥²₂ ≲ s log(ed)/N，其中 ∥ξ∥Lq 控制噪声水平。
• 对于 SLOPE，误差率取决于稀疏度 s 和序列 βi，且当 ∥B_s∥ ≲ C√s log(ed/s) 时，可确保 ∆(ρ)≥4ρ/5。
• 对于迹范数正则化，当 N ≳ s max{m,T} 时，误差率满足 ∥Â−A∗∥₁ ≲ ∥ξ∥Lq √(max{m,T})/N，其中 s 为真实矩阵的秩。
• 通过选择 λ ∼ r²(ρ)/ρ 且 ρ∼Ψ(f∗)，该方法实现了最优率，且在子高斯或次指数噪声下该界成立。
• 设计类的“有效维数” D(V) 控制高概率偏差界，且 D(V) ≳1 捕捉了该类中最大的欧几里得结构。
• 该框架表明，次微分大小与小球行为足以推导出精确界，而无需事先知道 Ψ(f∗)。