[论文解读] Iterative Pre-Conditioning for Expediting the Gradient-Descent Method: The Distributed Linear Least-Squares Problem

Kushal Chakrabarti, Nirupam Gupta+1 more|arXiv (Cornell University)|Aug 6, 2020

Sparse and Compressive Sensing Techniques参考文献 18被引用 4

一句话总结

该论文提出了一种迭代预条件技术，用于加速在服务器-代理网络中分布式线性最小二乘问题的梯度下降方法。通过自适应更新预条件矩阵，当解唯一时，该方法实现了超线性收敛，且在病态条件设置下，相较于标准梯度下降法和加速梯度方法，显著提升了收敛速度，该结论已在理想和噪声条件下的真实世界数据集上得到验证。

ABSTRACT

This paper considers the multi-agent linear least-squares problem in a server-agent network. In this problem, the system comprises multiple agents, each having a set of local data points, that are connected to a server. The goal for the agents is to compute a linear mathematical model that optimally fits the collective data points held by all the agents, without sharing their individual local data points. This goal can be achieved, in principle, using the server-agent variant of the traditional iterative gradient-descent method. The gradient-descent method converges linearly to a solution, and its rate of convergence is lower bounded by the conditioning of the agents' collective data points. If the data points are ill-conditioned, the gradient-descent method may require a large number of iterations to converge. We propose an iterative pre-conditioning technique that mitigates the deleterious effect of the conditioning of data points on the rate of convergence of the gradient-descent method. We rigorously show that the resulting pre-conditioned gradient-descent method, with the proposed iterative pre-conditioning, achieves superlinear convergence when the least-squares problem has a unique solution. In general, the convergence is linear with improved rate of convergence in comparison to the traditional gradient-descent method and the state-of-the-art accelerated gradient-descent methods. We further illustrate the improved rate of convergence of our proposed algorithm through experiments on different real-world least-squares problems in both noise-free and noisy computation environment.

研究动机与目标

• 解决由于数据病态条件导致的分布式线性最小二乘问题中梯度下降方法收敛缓慢的问题。
• 实现在代理不与服务器共享原始本地数据的前提下，实现隐私保护的协作学习。
• 开发一种鲁棒的、迭代式的预条件机制，可自适应地适应数据条件，且无需事先知晓条件数。
• 在保持分布式、通信高效运行的前提下，提升现有方法的收敛速度，尤其是在高条件数场景下。
• 在无噪声和有噪声计算环境中，利用真实世界数据集展示性能提升。

提出的方法

• 引入一种服务器-代理网络架构，其中代理计算本地梯度并将其发送至中心服务器进行聚合。
• 提出一种在每次迭代中更新的迭代预条件矩阵 $ K(t) $，以改善海森矩阵近似的条件性。
• 预条件梯度更新定义为 $ x(t+1) = x(t) - K(t)^{-1} \sum_{i=1}^m g^i(t) $，其中 $ g^i(t) $ 是代理 $ i $ 的本地梯度。
• 预条件矩阵 $ K(t) $ 通过基于梯度差分的递归公式进行更新，实现无需显式计算海森矩阵的自适应条件调整。
• 该方法以同步方式在分布式环境中运行，通信开销极低——仅交换梯度和预条件更新信息。
• 理论分析表明，在解唯一条件下，该方法可实现超线性收敛；在一般情况下，其线性收敛速率优于梯度下降（GD）、Nesterov加速梯度（NAG）、Heavy-ball方法（HBM）和加速投影一致性（APC）。

实验结果

研究问题

• RQ1 迭代预条件能否缓解高数据条件数对分布式最小二乘问题中梯度下降收敛的负面影响？
• RQ2 所提出的方法在理想和噪声环境下是否均能实现比传统及加速梯度方法更快的收敛速度？
• RQ3 在无全局海森矩阵信息的前提下，能否在分布式环境中迭代更新预条件机制？
• RQ4 当最小二乘问题具有唯一解与不具有唯一解时，所提算法的收敛行为有何不同？
• RQ5 在系统噪声存在的情况下，该算法的性能如何，尤其与BFGS及其他拟牛顿方法相比如何？

主要发现

• 当最小二乘问题具有唯一解时，所提算法实现了超线性收敛，显著优于标准梯度下降法和加速方法。
• 在一般情况下，该算法的线性收敛速率优于梯度下降（GD）、Nesterov加速梯度（NAG）、Heavy-ball方法（HBM）和加速投影一致性（APC）。
• 在真实世界数据集如“ash608”和“gr_30_30”上，所提方法的渐近估计误差为零，而GD、NAG、HBM和APC均表现出非零误差。
• 在噪声环境中，该算法保持误差有界，且优于BFGS方法，后者在360次迭代后因海森矩阵近似中的奇异性问题导致误差无界增长。
• 该算法的收敛速率对系统噪声具有鲁棒性，其渐近误差范数在所测试数据集上显著低于GD、NAG、HBM、APC和BFGS。
• 实验结果证实，与最先进方法相比，所提方法在收敛速度和可靠性方面均有显著提升，尤其在病态条件和噪声环境中表现更优。