[论文解读] Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization

Jonathan Lacotte, Mert Pilancı|arXiv (Cornell University)|Jun 10, 2020

Face and Expression Recognition被引用 5

一句话总结

该论文提出了一种用于正则化最小二乘优化的自适应压缩算法，将嵌入维度降低至问题的有效维度，而非完整的数据维度。通过推导高斯和SRHT嵌入的精确矩阵偏离界限，该方法在保持高概率保证的同时，实现了更快的收敛速度和更低的计算复杂度，优于标准求解器（如共轭梯度法）在基准数据集上的表现。

ABSTRACT

We propose a new randomized algorithm for solving L2-regularized least-squares problems based on sketching. We consider two of the most popular random embeddings, namely, Gaussian embeddings and the Subsampled Randomized Hadamard Transform (SRHT). While current randomized solvers for least-squares optimization prescribe an embedding dimension at least greater than the data dimension, we show that the embedding dimension can be reduced to the effective dimension of the optimization problem, and still preserve high-probability convergence guarantees. In this regard, we derive sharp matrix deviation inequalities over ellipsoids for both Gaussian and SRHT embeddings. Specifically, we improve on the constant of a classical Gaussian concentration bound whereas, for SRHT embeddings, our deviation inequality involves a novel technical approach. Leveraging these bounds, we are able to design a practical and adaptive algorithm which does not require to know the effective dimension beforehand. Our method starts with an initial embedding dimension equal to 1 and, over iterations, increases the embedding dimension up to the effective one at most. Hence, our algorithm improves the state-of-the-art computational complexity for solving regularized least-squares problems. Further, we show numerically that it outperforms standard iterative solvers such as the conjugate gradient method and its pre-conditioned version on several standard machine learning datasets.

研究动机与目标

• 通过最小化压缩维度来降低大规模正则化最小二乘问题的计算成本。
• 通过利用有效维度而非完整数据维度来改进收敛性保证。
• 设计一种实用的自适应算法，动态增加嵌入尺寸直至达到有效维度，且无需事先知晓该值。
• 在保持高概率误差界的同时，实现优于最先进求解器的计算复杂度。

提出的方法

• 使用通过高斯或SRHT嵌入的随机投影进行Hessian压缩，以近似Hessian矩阵。
• 为高斯和SRHT嵌入在椭球集上推导出精确的矩阵偏离不等式，以界定近似误差。
• 针对SRHT嵌入提出一种新颖的技术方法，以建立更紧致的集中性界限。
• 设计一种自适应算法，从嵌入维度1开始，迭代增加直至达到有效维度。
• 采用Polyak-IHS方法，利用近似Hessian矩阵 $ H_S = (SA)^T SA + \nu^2 I $ 以加速收敛。
• 使用预测范数 $ \frac{1}{2}\|\overline{A}(\widetilde{x}-x^*)\|_2^2 $ 作为误差评估标准。

实验结果

研究问题

• RQ1 在随机化最小二乘求解器中，是否可以将嵌入维度降低至有效维度，同时不牺牲收敛性保证？
• RQ2 在椭球集上，高斯和SRHT嵌入在矩阵偏离界限方面有何比较？
• RQ3 能否设计一种实用的自适应算法，使其动态调整嵌入维度至有效维度？
• RQ4 使用有效维度而非数据维度对计算复杂度和收敛速度有何影响？
• RQ5 所提出的方法在实践中是否优于标准的迭代求解器（如共轭梯度法）？

主要发现

• 嵌入维度可降低至有效维度 $ d_e \leq d $，对高斯和SRHT嵌入均能保持高概率收敛性保证。
• 对于高斯嵌入，论文改进了经典集中性界限中的常数，从而得到更紧致的误差界限。
• 对于SRHT嵌入，论文通过一种新技术方法推导出新颖的偏离不等式，显示出优于预期的性能。
• 所提出的自适应算法通过避免全维压缩并动态增加维度至 $ d_e $，实现了更优的计算复杂度。
• 数值实验表明，该方法在标准机器学习数据集上优于共轭梯度法及其预处理变体。
• 误差率呈 $ (d_e/m)^t $ 的形式，其中 $ m $ 为嵌入维度，证实当 $ m \approx d_e $ 时已足够实现快速收敛。