[论文解读] Convex Regularization for High-Dimensional Tensor Regression

Garvesh Raskutti, Ming Yuan|arXiv (Cornell University)|Dec 3, 2015

Sparse and Compressive Sensing Techniques被引用 17

一句话总结

本文提出了一种用于高维张量回归的凸优化框架，采用弱可分解正则化器来估计协变量之间存在一般依赖关系时的低秩张量结构。该框架基于高斯宽度和内在维数建立了通用风险界，并证明了在多响应回归、向量自回归和低秩张量回归等模型中达到极小极大最优性。

ABSTRACT

In this paper we present a general convex optimization approach for solving high-dimensional tensor regression problems under low-dimensional structural assumptions. We consider using convex and \emph{weakly decomposable} regularizers assuming that the underlying tensor lies in an unknown low-dimensional subspace. Within our framework, we derive general risk bounds of the resulting estimate under fairly general dependence structure among covariates. Our framework leads to upper bounds in terms of two very simple quantities, the Gaussian width of a convex set in tensor space and the intrinsic dimension of the low-dimensional tensor subspace. These general bounds provide useful upper bounds on rates of convergence for a number of fundamental statistical models of interest including multi-response regression, vector auto-regressive models, low-rank tensor models and pairwise interaction models. Moreover, in many of these settings we prove that the resulting estimates are minimax optimal.

研究动机与目标

• 开发一种在低维结构假设下适用于高维张量回归的通用凸优化方法。
• 分析协变量之间存在一般依赖结构时的估计误差。
• 推导依赖于张量空间几何性质（如高斯宽度和内在维数）的风险界。
• 为包括多响应回归和低秩张量模型在内的基础模型建立极小极大最优性。

提出的方法

• 使用凸且弱可分解的正则化器，以在估计的张量中促进低维结构。
• 基于张量空间中凸集的高斯宽度推导一般风险界。
• 以潜在低维张量子空间的内在维数表达收敛速率。
• 将该框架应用于多种模型，包括多响应回归、向量自回归模型和成对交互模型。
• 利用高维统计中的几何工具分析协变量一般依赖结构下的估计误差。
• 通过统一框架建立理论保证，该框架将正则化、几何与统计风险联系起来。

实验结果

研究问题

• RQ1 是否存在一种统一的凸优化框架，可在协变量存在一般依赖关系时实现高维张量回归的极小极大最优率？
• RQ2 高斯宽度和内在维数等几何特性如何影响张量回归中的估计误差？
• RQ3 弱可分解正则化器在实现低维张量结构最优恢复中起到什么作用？
• RQ4 所推导的风险界在多响应回归和低秩张量模型等多样化模型中适用程度如何？
• RQ5 该框架是否能在保持理论最优性的同时处理协变量之间的复杂依赖结构？

主要发现

• 所提出的框架在多响应回归、向量自回归模型、低秩张量模型和成对交互模型中均实现了极小极大最优估计速率。
• 风险界以两个基本几何量——张量子空间的高斯宽度和内在维数——表达。
• 该框架适用于协变量之间的一般依赖结构，无需独立性或次高斯性假设。
• 使用弱可分解正则化器可通过张量空间中的结构化稀疏性实现对估计误差的紧密控制。
• 理论保证以统一方式推导，表明同一框架在多个基础模型中均能实现最优速率。
• 结果表明，即使在高维、复杂的张量回归场景下，凸正则化也能实现最优收敛速率。