[论文解读] Generalized Dantzig Selector: Application to the k-support norm

Soumyadeep Chatterjee, Sheng Chen+1 more|arXiv (Cornell University)|Jun 20, 2014

Sparse and Compressive Sensing Techniques参考文献 21被引用 17

一句话总结

本文提出了广义Dantzig选择器（GDS），这是一种使用任意范数的线性模型结构化估计的灵活框架，重点关注k-支持范数。该文提出了一种利用共轭近端算子的非精确ADMM算法，并通过高斯宽度分析建立了估计误差的非渐近高概率界，首次为k-支持范数提供了明确的计算和理论收敛速率的统计恢复保证。

ABSTRACT

We propose a Generalized Dantzig Selector (GDS) for linear models, in which any norm encoding the parameter structure can be leveraged for estimation. We investigate both computational and statistical aspects of the GDS. Based on conjugate proximal operator, a flexible inexact ADMM framework is designed for solving GDS, and non-asymptotic high-probability bounds are established on the estimation error, which rely on Gaussian width of unit norm ball and suitable set encompassing estimation error. Further, we consider a non-trivial example of the GDS using $k$-support norm. We derive an efficient method to compute the proximal operator for $k$-support norm since existing methods are inapplicable in this setting. For statistical analysis, we provide upper bounds for the Gaussian widths needed in the GDS analysis, yielding the first statistical recovery guarantee for estimation with the $k$-support norm. The experimental results confirm our theoretical analysis.

研究动机与目标

• 开发一种使用任意范数的线性模型中结构化估计的一般框架，将经典的Dantzig选择器从L1范数扩展至更广范围。
• 解决Dantzig型估计器中非L1范数（特别是k-支持范数）缺乏计算与统计理论的问题。
• 设计一种高效的非精确ADMM算法，利用范数及其共轭的近端算子，实现可扩展的优化。
• 建立依赖于范数单位球与误差集的高斯宽度的估计误差的非渐近高概率界。
• 通过推导相关高斯宽度的上界，首次为k-支持范数提供统计恢复保证。

提出的方法

• 提出广义Dantzig选择器（GDS）作为凸优化问题，即在残差梯度的对偶范数约束下最小化范数R(θ)，形式为R*(X^T(y - Xθ)) ≤ λp。
• 构建一种非精确ADMM框架，其中原始变量更新对应于R(θ)及其共轭的近端算子，通过Moreau分解实现高效计算。
• 推导出一种高效算法，以O(p log p + log k log(p - k))时间计算k-支持范数的近端算子，克服了现有方法仅适用于平方范数的局限。
• 利用高斯宽度分析来界定估计误差，依赖于单位范数球与误差集的宽度，理论界通过浓度不等式与分组高斯最大值推导得出。
• 应用引理3来界定k个高斯变量组的期望最大ℓ2范数，从而实现对k-支持范数高斯宽度的上界估计。
• 通过将残差的对偶范数与误差集的高斯宽度关联，建立估计误差的高概率界，确保统计一致性。

实验结果

研究问题

• RQ1 Dantzig选择器能否被推广至L1以外的任意范数，从而实现对复杂参数结构的结构化估计？
• RQ2 如何为具有任意范数的广义Dantzig选择器设计高效且可扩展的优化算法？
• RQ3 GDS的统计性能如何？能否利用高斯宽度等几何性质建立非渐近高概率误差界？
• RQ4 k-支持范数的单位球与误差集的高斯宽度界是什么？它们在高维设置下如何影响估计误差？
• RQ5 k-支持范数的近端算子能否被高效计算？这是否能实现GDS在高维稀疏学习中的实际应用？

主要发现

• GDS框架可使用任意范数实现结构化估计，对偶范数约束确保了对噪声的鲁棒性与对参数结构的自适应性。
• 提出一种非精确ADMM算法，可同时计算范数及其共轭的近端更新，通过Moreau分解实现可扩展优化。
• k-支持范数的近端算子可在O(p log p + log k log(p - k))时间内高效计算，这是新贡献，因先前方法仅适用于平方范数。
• k-支持范数单位球的高斯宽度上界为O(√(k log(pe/k)) + √k)，这对推导估计误差界至关重要。
• GDS在k-支持范数下的估计误差以高概率被界为O(√(k log(pe/k)) + √k)，首次为该范数建立了统计恢复保证。
• 实验结果验证了理论分析，表明GDS结合k-支持范数在高维稀疏估计任务中表现出色。