[论文解读] Adaptive Sparse Reduced-rank Regression

Zongming Ma, Tingni Sun|arXiv (Cornell University)|Mar 8, 2014

Sparse and Compressive Sensing Techniques参考文献 37被引用 23

一句话总结

本文提出了一种新颖的自适应稀疏低秩回归方法，用于高维多响应线性模型，其中系数矩阵既稀疏又低秩。通过结合稀疏性和低秩惩罚，该方法在多种平方施瓦茨范数下实现了近最优的估计速率，同时与现有最先进方法相比显著降低了计算成本。

ABSTRACT

This paper studies the problem of estimating a large coefficient matrix in a multiple response linear regression model when the coefficient matrix is both sparse and of low rank. We are especially interested in the high dimensional settings where the number of predictors and/or response variables can be much larger than the number of observations. We propose a new estimation scheme, which achieves competitive numerical performance while significantly reducing computation time when compared with state-of-the-art methods. Moreover, we show the proposed estimator achieves near optimal non-asymptotic minimax rates of estimation under a collection of squared Schatten norm losses simultaneously by providing both the error bounds for the estimator and minimax lower bounds. In particular, such optimality results hold in the high dimensional settings.

研究动机与目标

• 解决系数矩阵既稀疏又低秩的高维多响应回归问题。
• 开发一种计算高效的估计方法，其速度优于现有最先进方法。
• 在多种平方施瓦茨范数损失下，建立估计量的非渐近极小极大最优性。
• 提供在高维设置下成立的估计误差理论保证。

提出的方法

• 该方法采用一种新颖的惩罚结构，同时在系数矩阵上诱导稀疏性和低秩结构。
• 使用自适应加权以增强稀疏性检测并提高估计精度。
• 优化框架设计为可扩展，从而在高维设置下实现更快的计算速度。
• 该方法利用施瓦茨 p-范数，以在多种矩阵范数下评估估计误差。
• 理论分析结合了估计量的误差界与极小极大下界，以确立最优性。

实验结果

研究问题

• RQ1 是否存在一种统一的估计方法，可在高维多变量回归中同时实现稀疏性和低秩结构？
• RQ2 所提出的方法是否在多种平方施瓦茨范数损失下实现近最优的估计速率？
• RQ3 所提出方法的计算效率与现有最先进方法相比如何？
• RQ4 在高维设置下，估计量的非渐近误差界是什么？

主要发现

• 所提出的估计量在一系列平方施瓦茨范数损失下实现了近最优的非渐近极小极大估计速率。
• 该方法在保持良好数值性能的同时，与现有最先进方法相比显著减少了计算时间。
• 理论分析证实，该估计量在高维设置下具有极小极大最优性。
• 自适应加权方案增强了稀疏性恢复能力，并提高了估计精度。