[论文解读] High-dimensional stochastic optimization with the generalized Dantzig estimator

Karim Lounici|ArXiv.org|Nov 14, 2008

Statistical Methods and Inference参考文献 24被引用 4

一句话总结

本文提出了一种高维随机优化的广义Dantzig估计器，通过凸优化将经典的Dantzig选择器推广至一般损失函数。在相互一致性的假设下，建立了稀疏性Oracle不等式、一致范数收敛速率以及符号一致性，特别针对高维线性回归中的Huber损失。

ABSTRACT

We propose a generalized version of the Dantzig selector. We show that it satisfies sparsity oracle inequalities in prediction and estimation. We consider then the particular case of high-dimensional linear regression model selection with the Huber loss function. In this case we derive the sup-norm convergence rate and the sign concentration property of the Dantzig estimators under a mutual coherence assumption on the dictionary.

研究动机与目标

• 开发一种适用于高维随机优化的广义Dantzig估计器，超越经典二次损失设定。
• 在一般凸、可微损失函数下，推导预测误差与估计误差的非渐近稀疏性Oracle不等式。
• 在高维线性回归中使用Huber损失时，建立Dantzig估计器的一致范数收敛速率与符号一致性。
• 证明在相互一致性假设下，阈值化估计器以高概率恢复真实稀疏参数向量的正确符号模式。

提出的方法

• 构建广义Dantzig最小化问题：在 $|\nabla\hat{R}_n(\theta)|_\infty \leq r$ 约束下最小化 $|\theta|_1$，其中 $\hat{R}_n$ 为经验风险。
• 将该方法应用于高维线性回归中的Huber损失，其中梯度为分段线性，问题可简化为线性规划。
• 对字典 $\mathcal{D} = \{f_1, \dots, f_M\}$ 施加相互一致性条件，以控制设计函数间的相关性。
• 利用集中不等式（Bousquet版本的Talagrand不等式）及对称化/压缩技术，对经验过程项进行有界。
• 引入阈值化估计器 $\tilde{\theta}_j = \hat{\theta}_j$ 若 $|\hat{\theta}_j| > C_4 r$，否则为0，以实现符号一致性。
• 采用高概率事件 $\mathcal{A}$，满足 $\|\hat{\theta} - \theta^*\|_\infty \leq C_3 r$，从而在 $\rho = \min_{j \in J(\theta^*)} |\theta^*_j|$ 的下界条件下实现符号恢复。

实验结果

研究问题

• RQ1 Dantzig选择器能否推广至非二次损失函数，同时在高维设定下保持稀疏性与估计一致性？
• RQ2 在字典的相互一致性假设下，广义Dantzig估计器的一致范数收敛速率为何？
• RQ3 在何种条件下，阈值化广义Dantzig估计器可实现符号一致性，即正确恢复真实稀疏参数向量的符号模式？
• RQ4 预测与估计误差的Oracle不等式如何依赖于稀疏性水平 $s$、维度 $M$ 与样本量 $n$？
• RQ5 调参参数 $r$ 在广义Dantzig框架中如何平衡估计误差与约束满足？

主要发现

• 广义Dantzig估计器在一般凸、可微损失函数下，对预测误差与估计误差均满足稀疏性Oracle不等式。
• 在高维线性回归中使用Huber损失时，估计器实现一致范数收敛速率 $O(r)$，其中 $r$ 为调参参数。
• 在字典的相互一致性假设下，且最小非零系数满足 $\rho > 2C_3 r$ 的下界时，阈值化估计器以高概率实现符号一致性。
• 正确符号恢复的概率下界为 $1 - M^{-1} - M^{-K} - \exp(-\sqrt{\log M}) - 3M^{-2K}\log(n / \log M)$，当 $M$ 增大时趋近于1。
• 该方法确保阈值化估计器解集 $\tilde{\Theta}$ 中的所有解以高概率与真实参数 $\theta^*$ 在符号上一致。
• 理论框架支持通过凸优化实现高效计算，尤其在Huber损失情况下可简化为线性规划。