[论文解读] Generalized High-Dimensional Trace Regression via Nuclear Norm Regularization

Jianqing Fan, Wenyan Gong+1 more|arXiv (Cornell University)|Oct 23, 2017

Sparse and Compressive Sensing Techniques参考文献 29被引用 5

一句话总结

本文提出了一种广义的高维迹回归模型，采用核范数正则化以在多种统计与计量经济学设定中估计近似低秩的矩阵系数。通过在经验负对数似然中加入核范数惩罚项，该方法在线性、降秩及矩阵补全模型中均实现了近乎最优的极小极大率（对数因子内），经验验证表明其在股票收益预测与图像分类任务中优于未正则化或基于稀疏性的替代方法。

ABSTRACT

We study the generalized trace regression with a near low-rank regression coefficient matrix, which extends notion of sparsity for regression coefficient vectors. Specifically, given a matrix covariate $X$, the probability density function $f(Y\vert X)=c(Y)\exp{(ϕ^{-1}\left[-Yη^* + b(η^*) ight])}$, where $η^*=tr({Θ^*}^TX)$. This model accommodates various types of responses and embraces many important problem setups such as reduced-rank regression, matrix regression that accommodates a panel of regressors, matrix completion, among others. We estimate $Θ^*$ through minimizing empirical negative log-likelihood plus nuclear norm penalty. We first establish a general theory and then for each specific problem, we derive explicitly the statistical rate of the proposed estimator. They all match the minimax rates in the linear trace regression up to logarithmic factors. Numerical studies confirm the rates we established and demonstrate the advantage of generalized trace regression over linear trace regression when the response is dichotomous. We also show the benefit of incorporating nuclear norm regularization in dynamic stock return prediction and in image classification.

研究动机与目标

• 开发一种统一框架，用于在多种响应类型下进行高维迹回归，且系数矩阵近似低秩。
• 在广义线性模型下，建立核范数正则化估计量的理论统计速率。
• 在具有低秩结构的设定（如金融预测与图像分类）中，证明核范数正则化优于基于稀疏性的方法。
• 将经典迹回归扩展至广义线性模型，涵盖二值、连续及矩阵值响应。
• 在动态股票收益预测与CIFAR10图像分类任务上对方法进行实证验证，表明低秩正则化带来一致性能提升。

提出的方法

• 构建广义迹回归模型，其中响应的条件均值依赖于系数矩阵与协变量矩阵乘积的迹。
• 通过最小化带核范数惩罚的经验负对数似然来估计未知系数矩阵，以诱导低秩结构。
• 推导理论误差界，其在对数因子内与线性迹回归中的极小极大率一致。
• 将方法应用于具体模型，包括降秩回归、矩阵补全与动态面板模型。
• 在时间序列应用中采用滚动窗口方法，每月在三年数据窗口上重新估计系数矩阵。
• 使用卷积神经网络提取384维特征，将其重塑为24×16矩阵，并对分类任务应用带核范数正则化的广义迹回归。

实验结果

研究问题

• RQ1 当真实系数矩阵近似低秩时，核范数正则化是否能提升高维迹回归中的估计精度？
• RQ2 核范数正则化估计量的统计速率是否在广义迹回归模型中达到极小极大最优率？
• RQ3 在预测股票收益与图像分类任务中，该方法相较于未正则化或ℓ1正则化方法表现如何？
• RQ4 在何种设定下，系数矩阵的低秩结构优于稀疏性？
• RQ5 广义迹回归框架是否能有效处理非高斯与非线性响应分布？

主要发现

• 核范数正则化估计量在所有考虑的模型中，其统计速率在对数因子内达到线性迹回归的极小极大最优率。
• 在动态股票收益预测中，核范数正则化模型实现了53.89%的平均准确率，优于未正则化模型（52.74%）与确定性基准（51.62%）。
• 在CIFAR10图像分类任务中，核范数正则化在λ=0.05时达到76.17%的峰值测试准确率，超过ℓ1正则化（λ=0.002时为75.90%）与未正则化基线（74.30%）。
• 在20只股票中，该方法在18只股票的收益预测中表现更优；在20个案例中有15个超过确定性基准。
• 实证结果表明，深度神经网络提取的特征呈现低秩结构，使得核范数正则化在图像分类中优于ℓ1正则化。
• 采用每月重新估计的滚动窗口实现保持了稳定性能，验证了该方法在时变环境中的鲁棒性。