[论文解读] Adaptive Estimation in Two-way Sparse Reduced-rank Regression

Zhuang Ma, Zongming Ma+1 more|arXiv (Cornell University)|Mar 8, 2014

Sparse and Compressive Sensing Techniques被引用 8

一句话总结

本文提出了一种用于双向稀疏降秩回归的新型自适应估计方法，同时在高维系数矩阵中施加低秩结构和行/列稀疏性。该方法在多种平方施特拉顿范数下实现了近最优的极小极大估计速率，具有理论保证，并在神经影像数据上展示了有效性。

ABSTRACT

This paper studies the problem of estimating a large coefficient matrix in a multiple response linear regression model when the coefficient matrix could be both of low rank and sparse in the sense that most nonzero entries concentrate on a few rows and columns. We are especially interested in the high dimensional settings where the number of predictors and/or response variables can be much larger than the number of observations. We propose a new estimation scheme, which achieves competitive numerical performance and at the same time allows fast computation. Moreover, we show that (a slight variant of) the proposed estimator achieves near optimal non-asymptotic minimax rates of estimation under a collection of squared Schatten norm losses simultaneously by providing both the error bounds for the estimator and minimax lower bounds. The effectiveness of the proposed algorithm is also demonstrated on an extit{in vivo} calcium imaging dataset.

研究动机与目标

• 解决在高维多变量回归中估计大型结构化系数矩阵的挑战，其中同时存在低秩和双向稀疏性（行与列）
• 通过开发一种统一的估计方案，克服现有方法的局限性，以适应联合的低秩与稀疏结构
• 建立非渐近极小极大下界，并证明所提出的估计器在多种平方施特拉顿范数损失下达到近最优速率
• 在 n ≪ p 和/或 n ≪ m 的高维情形下，确保计算效率并维持强理论性能保证

提出的方法

• 提出一种新估计方案，结合核范数惩罚以实现低秩结构，以及组lasso型惩罚以实现行与列稀疏性
• 利用先前工作共享的独占提取算法，高效识别系数矩阵中稀疏分量的支持集
• 将优化问题表述为带复合惩罚的正则化最小二乘目标：||Y - XA||_F^2 / 2 + λ₁||A||_* + λ₂||A||_{2,1} + λ₃||A^T||_{2,1}，以平衡低秩与组稀疏结构
• 使用高维统计工具（包括稀疏特征值条件与集中不等式）推导理论误差界
• 通过基于检验的方法建立极小极大下界，利用引理9及参数空间 Θ(s,r,d,γ) 的结构
• 应用组lasso定理（定理3）的变体，推导在次高斯噪声下的非渐近误差界，明确体现对样本量、稀疏性与秩的依赖关系

实验结果

研究问题

• RQ1 能否开发一种统一的估计程序，同时捕捉高维多变量回归中的低秩与双向稀疏性？
• RQ2 在联合结构下，系数矩阵在各种平方施特拉顿范数下的极小极大最优估计速率是什么？
• RQ3 所提出的估计器是否在多种损失函数下均达到近似最优的非渐近误差界？
• RQ4 在保持理论最优性的同时，该方法的计算效率与现有方法相比如何？
• RQ5 该方法能否在具有高维响应变量与预测变量的真实神经影像数据中有效应用？

主要发现

• 所提出的估计器在所有平方施特拉顿范数损失下同时实现了近最优的非渐近极小极大估计速率
• 极小极大下界被确立为 c(r^{2/q - 1}d^2) ∧ (r^{2/q - 1}(s log(ep/s) + k log(em/k)))，揭示了在双向稀疏降秩模型下估计的根本限制
• 利用组lasso型结果（定理3）推导出理论误差界，表明估计器的误差在适当的设计与噪声条件下呈 O(√s λ) 的量级
• 以高概率，估计器达到形如 ||Â - A||_F ≤ C √s λ / κ²_-(s*) 的误差界，其中 κ²_-(s*) 为最小特征值条件数
• 由于采用独占提取算法与结构化优化，该方法计算高效，可在高维设定下实现快速计算
• 在活体钙成像数据集上的实证验证确认了该方法在具有高维响应与预测变量的真实神经影像应用中的有效性