[论文解读] Anti-lopsided Algorithm for Large-scale Nonnegative Least Square Problems

Duy Nguyen, Tu Bao Ho|arXiv (Cornell University)|Feb 5, 2015

Tensor decomposition and applications参考文献 11被引用 8

一句话总结

该论文提出了一种针对大规模非负最小二乘（NNLS）问题的抗偏斜算法，将原始问题转化为等价的非负二次规划问题，以减轻变量缩放问题并提高梯度方向的有效性。该方法在被动变量子空间中实现了线性收敛速率 $(1 - \frac{1}{2\|Q\|_2})^k$，在无需矩阵求逆的情况下，仅使用一阶导数，其速度和精度均优于当前最先进方法。

ABSTRACT

Non-negative least squares (NNLS) problem is one of the most important fundamental problems in numeric analysis. It has been widely used in scientific computation and data modeling. In big data, the limitations of algorithm speed and accuracy are typical challenges. In this paper, we propose fast and robust anti-lopsided algorithm with high accuracy that is totally based on the first order methods. The main idea of our algorithm is to transform the original NNLS into an equivalent non-negative quadratic programming, which significantly reduce the scaling problem of variables. The proposed algorithm can reach high accuracy and fast speed with linear convergence $(1 - \frac{1}{2||Q||_2})^k$ where $\sqrt{n} \leq ||Q||_2 \leq n$, and $n$ is the dimension size of solutions. The experiments on large matrices clearly show the high performance of the proposed algorithm in comparison to the state-of-the-art algorithms.

研究动机与目标

• 解决现有NNLS算法在大规模、病态数据下速度和精度方面的性能局限。
• 克服一阶方法中变量缩放问题对有效梯度方向发现的阻碍。
• 开发一种避免昂贵矩阵求逆计算同时保持高精度的方法。
• 通过基于一阶梯度的优化实现高效并行与分布式计算。
• 在病态和大规模场景下实现快速收敛与鲁棒性。

提出的方法

• 将原始NNLS问题转化为等价的非负二次规划（NQP）问题，以缓解变量缩放问题。
• 使用带精确线搜索的一阶梯度方法，迭代更新解变量。
• 应用抗偏斜变换以平衡变量贡献，提升梯度方向质量。
• 聚焦于被动（非负）变量的子空间进行优化，以加速收敛。
• 完全避免计算 $(A^T A)^{-1}$，仅依赖一阶导数以提升计算效率。
• 利用 $Q$ 的结构（满足 $\sqrt{n} \leq \|Q\|_2 \leq n$）推导出线性收敛速率。

实验结果

研究问题

• RQ1 能否在一阶方法中实现NNLS的快速且鲁棒的收敛，且无需矩阵求逆？
• RQ2 变量缩放如何影响一阶NNLS求解器中梯度方向的质量？
• RQ3 抗偏斜变换是否能显著提升大规模NNLS问题中的收敛速度与稳定性？
• RQ4 与当前最先进算法相比，所提方法在收敛速率、运行时间和解精度方面表现如何？
• RQ5 所提算法在被动变量子空间中的理论收敛速率是多少？

主要发现

• 所提出的抗偏斜算法在被动变量子空间中实现了线性收敛速率 $(1 - \frac{1}{2\|Q\|_2})^k$，其中 $\|Q\|_2$ 的取值介于 $\sqrt{n}$ 和 $n$ 之间。
• 该算法运行速度比 Fast 算法 [BDJ97] 快 9 至 21 倍，各测试用例的平均运行时间在 12.3 至 146.8 秒之间。
• 在 30 个随机测试用例中，该算法比所有对比方法（包括 Fast 和 Accer）更快收敛至最优值。
• 对于大多数测试用例，该方法实现了 $|f(x_k) - f^*|$ 在 $10^{-15}$ 以内的最优性间隙，与性能最佳的 Fast 算法相当。
• 抗偏斜变换显著提升了收敛速度，这从 Anti+Acc 相较于 Accer 的优越表现中得到验证。
• 由于依赖一阶导数并避免矩阵求逆，该算法在病态情况下表现出良好的鲁棒性。