[论文解读] High dimensional regression and matrix estimation without tuning parameters

Sourav Chatterjee|arXiv (Cornell University)|Oct 25, 2015

Statistical Methods and Inference参考文献 90被引用 4

一句话总结

本文提出了一种用于高维回归和矩阵估计的新型自适应估计框架，可在无需调节参数的情况下实现极小化最大风险率。通过利用基于数据的、范数的投影估计器，该方法可自动适应未知稀疏性，借助一致的σ估计，实现在任意范数（包括ℓ¹范数和核范数）下的最优风险界，而无需手动选择正则化参数。

ABSTRACT

A general theory for Gaussian mean estimation that automatically adapts to unknown sparsity under arbitrary norms is proposed. The theory is applied to produce adaptively minimax rate-optimal estimators in high dimensional regression and matrix estimation that involve no tuning parameters.

研究动机与目标

• 开发一种适用于高斯均值估计的一般性框架，可在任意范数下自适应未知稀疏性，且无需调节参数。
• 将该框架扩展至高维回归和矩阵估计问题，其中传统方法需要调节正则化参数。
• 生成在ℓ¹范数和核范数下实现极小化最大风险界且无需用户指定调节参数的估计器。
• 建立理论风险界，通过消除对未知稀疏性水平的依赖，改进现有方法。

提出的方法

• 提出一种基于数据的估计器，定义为在约束||Y - ν||² ≤ nσ̂²下使范数K(ν)最小化的解，其中σ̂是σ的一致估计。
• 利用设计范数K的对偶范数K°(Z)来界定风险，其中Z ~ N(0, Iₙ)，从而实现对估计器性能的理论分析。
• 应用定理1.1表明，估计器的风险与K(μ)及σ̂的估计误差成比例，实现对未知稀疏性的最优自适应。
• 在回归问题中，通过秩缩减将问题映射到低维空间，并将一般框架应用于ℓ¹范数，从而得到一种无需调节参数的Lasso类估计器。
• 在矩阵估计中，将矩阵视为向量，并将核范数用作约束范数K，从而实现一种无需调节参数的矩阵去噪估计器。
• 利用浓度不等式和高斯混沌的矩界来控制σ̂的估计误差，确保风险界保持紧致，且无需调节参数。

实验结果

研究问题

• RQ1 能否开发一种适用于高维估计的一般性框架，使其在无需调节参数的情况下自适应未知稀疏性？
• RQ2 所提出的方法能否在ℓ¹范数下实现高维回归的极小化最大风险率，且无需调节正则化参数？
• RQ3 该框架能否扩展至使用核范数的矩阵估计，实现无需调节的最优性能？
• RQ4 所提出估计器的风险如何随真实参数范数K(μ)和σ̂的估计误差而变化？

主要发现

• 所提出的估计器实现了风险界E||Ŷ - μ||² / (nσ²) ≤ 16K(μ)/nσ × E[K°(Z)] + 2√(2/n) + 2E|σ̂² - σ²|/σ²，通过范数K(μ)自适应未知稀疏性。
• 在高维回归中，该方法产生了一种在ℓ¹范数下极小化最大风险率最优且无需调节参数的估计器，其性能与最优调节参数下Lasso的性能相当。
• 在矩阵估计中，该方法得到一种无需调节参数的估计器，在核范数下实现最优风险界，风险规模为O(√(k/m) + √(k/l))，适用于l×m大小的秩-k矩阵。
• 该方法在回归和矩阵估计设置中均实现了极小化最优性，其理论风险界优于现有依赖调节参数的方法。
• 由于投影约束的自适应性，估计器性能随真实参数范数K(μ)的减小而提升，即使在未知其值的情况下亦然。