[论文解读] Sharper Bounds for Regression and Low-Rank Approximation with Regularization.

Haim Avron, Kenneth L. Clarkson+1 more|arXiv (Cornell University)|Nov 10, 2016

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文通过使用矩阵压缩技术，将正则化回归和低秩逼近的算法界进行了更严格的推导，用统计维数替代了传统的秩来表示资源复杂度。对于岭回归正则化的低秩逼近问题，其时间复杂度与最优解的统计维数成比例，从而在强正则化条件下实现了显著的性能提升。

ABSTRACT

The technique of matrix sketching, such as the use of random projections, has been shown in recent years to be a powerful tool for accelerating many important statistical learning techniques. Research has so far focused largely on using sketching for the vanilla un-regularized versions of these techniques. Here we study sketching methods for regularized variants of linear regression, low rank approximations, and canonical correlation analysis. We study regularization both in a fairly broad setting, and in the specific context of the popular and widely used technique of ridge regularization; for the latter, as applied to each of these problems, we show algorithmic resource bounds in which the {\em statistical dimension} appears in places where in previous bounds the rank would appear. The statistical dimension is always smaller than the rank, and decreases as the amount of regularization increases. In particular, for the ridge low-rank approximation problem $\min_{Y,X} \lVert YX - A Vert_F^2 + \lambda \lVert Y Vert_F^2 + \lambda\lVert X Vert_F^2$, where $Y\in\mathbb{R}^{n imes k}$ and $X\in\mathbb{R}^{k imes d}$, we give an approximation algorithm needing \[ O(\mathtt{nnz}(A)) + ilde{O}((n+d)\varepsilon^{-1}k \min\{k, \varepsilon^{-1}\mathtt{sd}_\lambda(Y^*)\})+ ilde{O}(\varepsilon^{-8} \mathtt{sd}_\lambda(Y^*)^3) \] time, where $s_{\lambda}(Y^*)\le k$ is the statistical dimension of $Y^*$, $Y^*$ is an optimal $Y$, $\varepsilon$ is an error parameter, and $\mathtt{nnz}(A)$ is the number of nonzero entries of $A$. We also study regularization in a much more general setting. For example, we obtain sketching-based algorithms for the low-rank approximation problem $\min_{X,Y} \lVert YX - A Vert_F^2 + f(Y,X)$ where $f(\cdot,\cdot)$ is a regularizing function satisfying some very general conditions (chiefly, invariance under orthogonal transformations).

研究动机与目标

• 将矩阵压缩技术从无正则化的线性回归、低秩逼近和典型相关分析扩展到正则化变体。
• 用统计维数替代算法资源界中的秩，统计维数始终更小，并且随着正则化程度增加而减小。
• 为满足正交不变性的通用正则化器设计高效的基于压缩的低秩逼近算法。
• 提供更紧致的时间复杂度界，通过统计维数反映正则化解的内在复杂度。

提出的方法

• 通过随机投影实现矩阵压缩，以加速正则化学习问题，同时保持精度。
• 将基于秩的界替换为基于统计维数的界，其中统计维数 $\mathtt{sd}_\lambda(Y^*)$ 定义为 $Y^{*\top}Y^*(Y^{*\top}Y^* + \lambda I)^{-1}$ 的迹。
• 将压缩技术应用于岭正则化低秩逼近问题 $\min_{Y,X} \|YX - A\|_F^2 + \lambda \|Y\|_F^2 + \lambda \|X\|_F^2$，推导出时间复杂度为 $O(\mathtt{nnz}(A)) + \tilde{O}((n+d)\varepsilon^{-1}k \min\{k, \varepsilon^{-1}\mathtt{sd}_\lambda(Y^*)\}) + \tilde{O}(\varepsilon^{-8} \mathtt{sd}_\lambda(Y^*)^3)$。
• 将该框架推广至处理任意满足正交不变性的正则化器 $f(Y,X)$。
• 采用能保持正则化目标结构的同时降低计算成本的压缩技术。

实验结果

研究问题

• RQ1 矩阵压缩能否有效扩展到低秩逼近和回归的正则化版本？
• RQ2 在算法界中用统计维数替代秩，是否能带来更紧致且更实用的复杂度保证？
• RQ3 最优解的统计维数如何影响岭正则化问题中基于压缩算法的性能？
• RQ4 能否为满足正交不变性的通用正则化器设计基于压缩的算法？
• RQ5 在基于压缩的正则化低秩逼近中，近似误差与计算成本之间的最优权衡是什么？

主要发现

• 岭正则化低秩逼近的时间复杂度与统计维数 $\mathtt{sd}_\lambda(Y^*)$ 成比例，而非与秩成比例，因此在强正则化条件下可获得更优的界。
• 所提出的算法在 $O(\mathtt{nnz}(A)) + \tilde{O}((n+d)\varepsilon^{-1}k \min\{k, \varepsilon^{-1}\mathtt{sd}_\lambda(Y^*)\}) + \tilde{O}(\varepsilon^{-8} \mathtt{sd}_\lambda(Y^*)^3)$ 的时间复杂度内实现了 $\varepsilon$-近似解。
• 统计维数 $\mathtt{sd}_\lambda(Y^*)$ 始终不超过 $k$，且随着正则化参数 $\lambda$ 的增加而减小，反映了有效维度的降低。
• 该框架可推广至岭正则化之外的任意正则化器 $f(Y,X)$，只要其满足正交不变性。
• 与先前工作相比，该界更紧致，尤其当统计维数远小于秩时（这在强正则化下会发生）。
• 结果表明，压缩技术可高效应用于正则化问题，并提供反映解真实复杂度的可证明保证。