[论文解读] Efficient Symmetric Norm Regression via Linear Sketching

Zhao Song, Ruosong Wang+3 more|arXiv (Cornell University)|Oct 4, 2019

Advanced Optimization Algorithms Research被引用 8

一句话总结

该论文提出了首个具有可证明保证的输入稀疏时间算法，用于对称范数回归，采用了一种新颖的线性随机投影框架 SymSketch。该算法对 Orlicz 范数实现了 $(1+\varepsilon)$-近似解，对一般对称范数实现了 $\sqrt{d} \cdot \mathrm{mmc}(\ell) \cdot \mathrm{polylog}\,n$-近似解，显著优于以往工作中的 $d \cdot \mathrm{polylog}\,n$ 近似比。

ABSTRACT

We provide efficient algorithms for overconstrained linear regression problems with size $n imes d$ when the loss function is a symmetric norm (a norm invariant under sign-flips and coordinate-permutations). An important class of symmetric norms are Orlicz norms, where for a function $G$ and a vector $y \in \mathbb{R}^n$, the corresponding Orlicz norm $\|y\|_G$ is defined as the unique value $α$ such that $\sum_{i=1}^n G(|y_i|/α) = 1$. When the loss function is an Orlicz norm, our algorithm produces a $(1 + \varepsilon)$-approximate solution for an arbitrarily small constant $\varepsilon > 0$ in input-sparsity time, improving over the previously best-known algorithm which produces a $d \cdot \mathrm{polylog} n$-approximate solution. When the loss function is a general symmetric norm, our algorithm produces a $\sqrt{d} \cdot \mathrm{polylog} n \cdot \mathrm{mmc}(\ell)$-approximate solution in input-sparsity time, where $\mathrm{mmc}(\ell)$ is a quantity related to the symmetric norm under consideration. To the best of our knowledge, this is the first input-sparsity time algorithm with provable guarantees for the general class of symmetric norm regression problem. Our results shed light on resolving the universal sketching problem for linear regression, and the techniques might be of independent interest to numerical linear algebra problems more broadly.

研究动机与目标

• 开发一种基于随机投影的通用算法，用于对称范数回归，适用于包括 Orlicz 范数和其他对称范数在内的广泛损失函数类别。
• 通过在输入稀疏时间内实现 Orlicz 范数的 $(1+\varepsilon)$-近似，弥合理论随机投影技术与实际应用之间的差距。
• 将线性随机投影的适用范围从 $\ell_p$ 范数和 $M$-估计器扩展到复杂的对称范数（如 top-$k$、sum-mix 和 $k$-support 范数）。
• 为一般对称范数提供可证明的近似保证，引入一个新的度量 $\mathrm{mmc}(\ell)$，以捕捉范数的结构复杂度。
• 通过设计一个适用于多种对称范数损失的统一框架，解决线性回归中的通用随机投影问题。

提出的方法

• 提出一种名为 SymSketch 的新型随机投影框架，这是一种专为对称范数设计的结构化线性随机投影。
• 采用两阶段随机投影过程：首先，通过随机嵌入将残差向量映射到低维空间，同时保持对称范数的结构特性。
• 利用快速 Johnson-Lindenstrauss 变换实现子空间嵌入，以保持变换后残差的 $\ell_2$-范数，随后通过范数等价性论证将其与原始对称范数关联。
• 利用范数的对称性（对符号翻转和排列不变）设计仅依赖于数据矩阵的奇异值和结构的随机投影。
• 对随机投影矩阵的 $\ell_2$-嵌入性质进行新颖分析，将近似比以 $\mathrm{mmc}(\ell)$（一种范数特异性复杂度度量）的形式进行有界。
• 将随机投影与标准最小二乘回归结合，用于在 $O(\mathrm{nnz}(A) + \mathrm{poly}(d))$ 时间内计算近似解。

实验结果

研究问题

• RQ1 我们能否设计一种单一的基于随机投影的算法，在输入稀疏时间内实现对称范数回归的 $(1+\varepsilon)$-近似，而无需为每种损失函数重新设计？
• RQ2 是否可能将线性随机投影在 $\ell_p$ 范数和 $M$-估计器上的成功扩展到具有最优近似比的 Orlicz 范数？
• RQ3 我们如何处理非 Orlicz 范数但广泛用于机器学习的通用对称范数（如 top-$k$、sum-mix 和 $k$-support 范数）？
• RQ4 此类框架中的最小随机投影大小是多少？范数的哪些结构特性决定了近似质量？
• RQ5 我们能否通过引入一个单一的复杂度参数 $\mathrm{mmc}(\ell)$ 来统一分析对称范数随机投影，以捕捉范数在随机投影下的行为？

主要发现

• 所提出的 SymSketch 算法在 $O(\mathrm{nnz}(A) + \mathrm{poly}(d/\varepsilon))$ 时间内实现了 Orlicz 范数回归的 $(1+\varepsilon)$-近似解，优于以往的 $d \cdot \mathrm{polylog}\,n$-近似。
• 对于一般对称范数，该算法在输入稀疏时间内提供了 $\sqrt{d} \cdot \mathrm{mmc}(\ell) \cdot \mathrm{polylog}\,n$-近似解，其中 $\mathrm{mmc}(\ell)$ 是一种范数特异性复杂度度量。
• 该算法是首个为一般对称范数回归问题提供可证明输入稀疏时间保证的算法，解决了通用随机投影中的一个关键开放问题。
• 在 U.S. Census 和 YearPredictionMSD 数据集上的实验表明，SymSketch 在 Orlicz 范数和对称范数设置下均优于均匀采样和以往的随机投影方法。
• 当嵌入维度为 $5d$ 时，SymSketch 在 sum-mix $\ell_1 + \ell_2$ 范数上实现了 $1.25$ 的近似比，展现出强大的实际性能。
• 理论分析表明，该随机投影将变换后残差的 $\ell_2$-范数保持在 $O(\sqrt{d} \log^3 n)$ 因子内，该结果被用于有界对称范数的近似比。