[论文解读] A Geometric View on Constrained M-Estimators

Yen-Huan Li, Ya-Ping Hsieh+2 more|arXiv (Cornell University)|Jun 26, 2015

Statistical Methods and Inference参考文献 44被引用 4

一句话总结

本文提出了一种用于分析高维统计模型中约束M-估计器的几何框架，利用约束集的高斯宽度推导出通用的估计误差界。在约束不匹配的情况下，该框架为高斯线性回归中的Lasso建立了极小极大最优误差界，解决了关于一致性和样本量依赖性的关键问题。

ABSTRACT

We study the estimation error of constrained M-estimators, and derive explicit upper bounds on the expected estimation error determined by the Gaussian width of the constraint set. Both of the cases where the true parameter is on the boundary of the constraint set (matched constraint), and where the true parameter is strictly in the constraint set (mismatched constraint) are considered. For both cases, we derive novel universal estimation error bounds for regression in a generalized linear model with the canonical link function. Our error bound for the mismatched constraint case is minimax optimal in terms of its dependence on the sample size, for Gaussian linear regression by the Lasso.

研究动机与目标

• 为n < p的高维设定下约束M-估计器的分析提供统一的几何框架。
• 推导仅依赖于约束集高斯宽度的估计误差显式上界。
• 解决当真实参数严格位于约束集内部（即约束不匹配）时估计一致性与误差衰减率的开放问题。
• 证明在所提框架下，高斯线性回归中Lasso的推导误差界在样本量依赖性上为极小极大最优。

提出的方法

• 作者定义了可行集差集的锥包，记为$\overline{\mathcal{F}_{g}(\theta^\natural)\setminus t\mathcal{B}}$，以刻画真实参数附近约束的几何结构。
• 利用锥包的高斯宽度$\omega_1$和损失函数Hessian矩阵的最小特征值$\mu$，推导出期望估计误差$\mathbb{E}\|\hat{\theta} - \theta^\natural\|_2$的上界。
• 该方法适用于具有自然连接函数的广义线性模型，通过次高斯设计矩阵和浓度不等式控制Hessian矩阵的下界。
• 对于Lasso情形，作者采用Rademacher设计矩阵，并证明Hessian矩阵以高概率一致有下界。
• 分析利用拉格朗日对偶性将约束与惩罚M-估计器联系起来，尽管这种对应关系依赖于样本。
• 通过特化到高斯线性模型和标准GLM，验证了该框架，得到了以$\omega_1$和样本量$n$表示的显式误差界。

实验结果

研究问题

• RQ1 我们能否推导出仅依赖于约束集几何结构的约束M-估计器的通用估计误差界？
• RQ2 当真实参数严格位于约束集内部（即约束不匹配）时，估计误差的衰减率是什么？
• RQ3 在所提框架下，高斯线性回归中Lasso的估计误差是否为极小极大最优？
• RQ4 与$c = g(\theta^\natural)$相比，约束常数$c > g(\theta^\natural)$的选择如何影响估计误差？
• RQ5 该几何方法能否统一不同结构稀疏性模型与广义线性模型的误差分析？

主要发现

• 本文推导出约束M-估计器期望估计误差的通用上界，其形式基于约束集可行锥的高斯宽度。
• 在约束不匹配情形下，误差界在样本量$n$的依赖关系上为极小极大最优，与高斯线性回归中Lasso的已知极小极大率一致。
• 误差界呈$\mathcal{O}\left(\frac{\omega_1(\overline{\mathcal{F}_{g}(\theta^\natural)\setminus t\mathcal{B}})}{\mu\sqrt{n}}\right)$形式，其中$\mu$为Hessian矩阵的最小特征值，$\omega_1$为高斯宽度。
• 对于具有Rademacher设计的高斯线性模型，当$\sqrt{n} \gtrsim \frac{c\alpha^2 \omega_1(\overline{\mathcal{F}_{g}(\theta^\natural)\setminus t\mathcal{B}})}{\epsilon}$时，Hessian矩阵以高概率有下界，从而保证该界成立。
• 该框架表明，只要约束集不过大，使用$c > g(\theta^\natural)$的约束M-估计器仍可实现最优误差率。
• 分析揭示，在核范数等特定结构约束下，使用线性最小化预言机的Frank-Wolfe算法相比近端方法更具可扩展性，因为其预言机计算更简单。