[论文解读] Asynchronous Algorithms for Solving Linear Programs

Tarek A. Lahlou, Thomas A. Baran|arXiv (Cornell University)|Feb 24, 2015

Sparse and Compressive Sensing Techniques参考文献 11被引用 3

一句话总结

该论文提出了一种异步、分布式算法，通过非线性信号流结构求解线性规划问题，能够在无全局同步的情况下收敛至最优解。通过将线性规划问题重新表述为异步形式，并利用正交矩阵和无记忆非线性函数进行定点迭代，该方法在任意延迟和计算异构条件下实现收敛，经由切比雪夫中心和基础追踪问题的数值仿真得到验证。

ABSTRACT

In this paper we design and analyze algorithms for asynchronously solving linear programs using nonlinear signal processing structures. In particular, we discuss a general procedure for generating these structures such that a fixed-point of the structure is within a change of basis the minimizer of an associated linear program. We discuss methods for organizing the computation into distributed implementations and provide a treatment of convergence. The presented algorithms are accompanied by numerical simulations of the Chebyshev center and basis pursuit problems.

研究动机与目标

• 设计用于求解线性规划问题的分布式、异步算法，使其对通信延迟和处理器异构性具有鲁棒性。
• 解决传统顺序和同步优化方法在分布式环境中因同步和通信开销导致性能下降的局限性。
• 基于信号流结构构建一个通用框架，通过最优性条件将线性规划问题转化为定点问题。
• 利用稳定性理论和动态系统分析确保所提算法的收敛性。
• 在切比雪夫中心和基础追踪等实际问题上验证该方法，展示其鲁棒性和可扩展性。

提出的方法

• 将标准形式的线性规划问题重新表述为一种‘异步形式’，其中所有变量被约束为固定、无约束或非负，且所有约束均为等式形式。
• 利用正交矩阵 G 和无记忆非线性函数 m(·) 构建一组最优性条件，使得该系统的定点对应于原始线性规划问题的最优解。
• 使用随机触发的采样保持元件建模异步计算，以伯努利过程表示，引入任意延迟而不破坏收敛性。
• 通过代数方法或插入异步延迟来解决无延迟环路，确保系统保持适定且稳定。
• 采用信号流结构实现算法，将输入和输出映射到重述问题中的变量，非线性部分编码目标函数和约束项。
• 在早期迭代中使用同伦延续法改善收敛行为，逐步从平滑形式过渡到完整非线性形式。

实验结果

研究问题

• RQ1 线性规划问题能否在无需全局同步或精确时间控制的情况下，以高效、分布式、异步的方式求解？
• RQ2 在任意延迟和处理器异构性条件下，异步信号流结构求解线性规划问题时，收敛性的条件是什么？
• RQ3 如何将线性规划问题重新表述为适合非线性信号处理的形式，并保证其定点收敛至最优解？
• RQ4 所提算法在高维问题（如基础追踪和切比雪夫中心计算）中，其鲁棒性和可扩展性在多大程度上得以保持？
• RQ5 在实际应用中，非线性函数的选择和异步触发概率如何影响收敛速度和精度？

主要发现

• 所提异步算法在任意通信和处理延迟下均能收敛至线性规划的最优解，理论稳定性分析已验证其有效性。
• 数值仿真显示，在100维空间中包含200个随机超平面的切比雪夫中心问题中，中心通过蓝色曲线收敛至定点。
• 对于512维空间中16稀疏的信号，基础追踪问题在1000次试验中成功恢复真实解，且在不同延迟概率（p = 0.2 至 0.8）下均观察到收敛。
• 早期迭代中使用同伦方法显著改善初始收敛性能，非线性函数逐步从平滑形式过渡到精确形式。
• 该框架在多种问题实例中表现出鲁棒性能，展示了良好的可扩展性与对计算异构性的适应能力。
• 信号流结构的定点在基变换下对应于原始线性规划问题的最小化点，证实了重述方法的正确性。