[论文解读] Subspace Embedding and Linear Regression with Orlicz Norm

Alexandr Andoni, Chengyu Lin+3 more|arXiv (Cornell University)|Jun 17, 2018

Sparse and Compressive Sensing Techniques被引用 12

一句话总结

本文提出了一种针对Orlicz范数的新型无偏子空间嵌入——该范数广义化了$β$-范数和M-估计器——使得线性回归和低秩矩阵逼近的高效近似算法成为可能。该方法在Orlicz-范数回归中实现了$O(d\log^2 n)$的近似因子，并改进了$1 \leq p < 2$时$\ell_p$低秩逼近的现有界，通过一种新嵌入方法，以低失真保留了范数结构。

ABSTRACT

We consider a generalization of the classic linear regression problem to the case when the loss is an Orlicz norm. An Orlicz norm is parameterized by a non-negative convex function $G:\mathbb{R}_+ ightarrow\mathbb{R}_+$ with $G(0)=0$: the Orlicz norm of a vector $x\in\mathbb{R}^n$ is defined as $ \|x\|_G=\inf\left\{α&gt;0\large\mid\sum_{i=1}^n G(|x_i|/α)\leq 1 ight\}. $ We consider the cases where the function $G(\cdot)$ grows subquadratically. Our main result is based on a new oblivious embedding which embeds the column space of a given matrix $A\in\mathbb{R}^{n imes d}$ with Orlicz norm into a lower dimensional space with $\ell_2$ norm. Specifically, we show how to efficiently find an embedding matrix $S\in\mathbb{R}^{m imes n},m

研究动机与目标

• 开发一种通用的算法框架，用于求解由Orlicz范数定义的损失函数的线性回归问题，该范数广义化了$\ell_1$、$\ell_2$和M-估计器。
• 通过引入尺度不变的Orlicz范数公式，克服尺度相关损失函数的局限性。
• 设计一种新型无偏子空间嵌入，将矩阵$A$的列空间映射到低维空间，同时以有界失真保留Orlicz范数结构。
• 将该嵌入技术应用于改进$1 \leq p < 2$时$\ell_p$低秩矩阵逼近的近似算法，该问题在鲁棒数据分析中日益重要。
• 在合成数据和真实数据集上对方法进行实验验证，证明其在性能上优于标准的$\ell_1$、$\ell_2$和基线$\ell_p$方法。

提出的方法

• 提出一种新型无偏子空间嵌入矩阵$S \in \mathbb{R}^{m \times n}$，使得对任意$x \in \mathbb{R}^d$，有$\|Ax\|_G$在$\ell_2$范数下的失真度为$O(d^2 \log n)$。
• 定义Orlicz范数$\|x\|_G = \inf\{\alpha > 0 \mid \sum_{i=1}^n G(|x_i|/\alpha) \leq 1\}$，其中$G:\mathbb{R}_+ \to \mathbb{R}_+$为凸且次二次函数，且满足$G(0) = 0$，该定义广义化了$\ell_p$和M-估计器损失。
• 通过一种随机化采样方法构建嵌入，按行$A_i$的$\|A_i\|_G^2 / \|A\|_G^2$成比例采样$A$的行，确保在Orlicz范数下满足浓度测度。
• 将该嵌入应用于回归问题$\min_x \|Ax - b\|_G$，将其简化为在$SAx \approx Sb$上求解更小规模的$\ell_2$回归问题，且具有可证明的近似保证。
• 利用该嵌入改进$1 \leq p < 2$时$\ell_p$低秩逼近的最先进结果，通过降低近似因子和运行时间。
• 采用两阶段算法：首先，使用Orlicz嵌入对数据进行采样；其次，通过标准$\ell_2$求解器求解简化后的问题，理论误差界通过浓度不等式推导得出。

实验结果

研究问题

• RQ1 能否为广义化$\ell_2$和$\ell_p$嵌入的Orlicz范数构建子空间嵌入，同时保留鲁棒M-估计器损失的结构？
• RQ2 Orlicz范数子空间嵌入可实现的最优失真因子是多少？能否在$d$和$\log n$的多项式范围内进行有界？
• RQ3 所提出的嵌入技术能否用于设计具有可证明近似因子的Orlicz-范数回归的高效近似算法？
• RQ4 与先前工作相比，该新嵌入是否能改进$1 \leq p < 2$时$\ell_p$低秩矩阵逼近的近似比和运行时间？
• RQ5 在不同噪声和异常值条件下，Orlicz-范数回归的性能与$\ell_1$、$\ell_2$和$\ell_{1.5}$回归相比如何？

主要发现

• 所提出的子空间嵌入在Orlicz范数下实现了$O(d^2 \log n)$的失真因子，下界为$\Omega(1/(d \log n))$，表明在$d$和$n$依赖关系上接近最优。
• 该算法在Orlicz-范数回归问题中实现了$O(d \log^2 n)$的近似因子，这是针对一般次二次Orlicz范数的首个此类结果。
• 实验表明，采用类似Huber函数的$G_{\ell_{1.5}}$的Orlicz-范数回归，其平均$\ell_2$误差为14.7，显著优于$\ell_1$（17.0）、$\ell_2$（909.8）及其他$G$-范数变体。
• 在合成数据上，对于$\ell_1$低秩逼近，所提方法实现了相对$\ell_1$误差$1.04 \times 10^4$，优于Song等（2017）的基线值$1.36 \times 10^4$和标准PCA。
• 在diabetes和glass数据集上，该算法分别耗时3.18秒和3.74秒，优于Song等（2017）的5.69秒和11.97秒，且误差降低更优。
• 该方法具有高度灵活性和通用性：只要$G$和$G^{-1}$可计算，即可轻松尝试不同的$G$函数，从而支持自定义鲁棒损失设计。