[论文解读] Distributed second order methods with variable number of working nodes.

Dragana Bajović, Dušan Jakovetić+2 more|arXiv (Cornell University)|Sep 5, 2017

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

本文通过将一种空闲机制引入分布式二阶优化，将其适配至分布式拟牛顿（DQN）方法，使节点能够基于随迭代次数增加而提高的概率进行概率性激活。该方法在保持R线性收敛速率的同时，通过采用更廉价且自适应的更新方式，显著降低了通信和计算成本。

ABSTRACT

Recently, an idling mechanism has been introduced in the context of distributed first order methods for minimization of a sum of nodes' local convex costs over a generic, connected network. With the idling mechanism, each node i, at each iteration k, is active -- updates its solution estimate and exchanges messages with its network neighborhood -- with probability pk (pk increasing to one as k grows large), and it stays idle with probability 1-pk, while the activations are independent both across nodes and across iterations. The idling mechanism involves an increasing number of nodes in the algorithm (on average) as the iteration counter k grows, thus avoiding unnecessarily expensive exact updates at the initial iterations while performing beneficial close-to-exact updates near the solution. In this paper, we demonstrate that the idling mechanism can be successfully incorporated in distributed second order methods also. Specifically, we apply the idling mechanism to the recently proposed Distributed Quasi Newton method (DQN). We first show theoretically that DQN with idling exhibits very similar theoretical convergence and convergence rates properties as the standard DQN method, thus achieving the same order of convergence rate (R-linear) as the standard DQN, but with significantly cheaper updates. Further, we demonstrate by simulation examples significant communication and computational savings gained through incorporation of the idling mechanism.

研究动机与目标

• 解决分布式优化中精确二阶更新带来的高计算与通信成本，尤其是在早期迭代中。
• 克服传统分布式方法在未取得显著进展时仍执行完整更新所导致的低效问题，避免不必要的资源消耗。
• 提出一种动态激活策略，使活跃节点数量随时间增加，从而在不牺牲收敛质量的前提下提升效率。
• 将此前仅用于一阶方法的空闲机制扩展至二阶分布式优化，特别应用于DQN框架。
• 证明经空闲机制增强的DQN方法在保持与标准DQN相同收敛速率的同时，显著降低计算与通信开销。

提出的方法

• 将一阶方法中的空闲机制适配至分布式拟牛顿（DQN）算法，其中每个节点以随迭代次数递增趋近于1的概率pk被激活。
• 在每次迭代k中，每个节点i独立决定以概率pk更新其解估计值并与邻居交换消息，否则保持空闲状态。
• 对活跃节点维持DQN更新规则，利用本地Hessian近似和梯度信息计算搜索方向。
• 仅在节点活跃时更新Hessian近似，从而降低昂贵Hessian计算的频率。
• 设计激活概率pk随时间增长，确保随着算法趋近收敛，更多节点参与计算。
• 理论分析表明，尽管更新频率降低，空闲DQN仍保持与标准DQN相同的R线性收敛速率。

实验结果

研究问题

• RQ1 能否成功将一阶分布式优化中有效的空闲机制扩展至DQN等二阶方法？
• RQ2 在相同假设条件下，空闲DQN方法是否保持标准DQN方法的R线性收敛速率？
• RQ3 与标准DQN相比，空闲机制在DQN中实现了多少通信与计算节省？
• RQ4 动态激活概率pk如何影响分布式二阶优化中的收敛行为与效率？
• RQ5 空闲机制是否能在不损害最终解精度或收敛速度的前提下，减少早期迭代中的资源使用？

主要发现

• 空闲DQN方法实现了与标准DQN方法相同的R线性收敛速率，证实了其在收敛质量上的理论等价性。
• 该方法通过避免在早期迭代中执行精确更新，显著降低了计算与通信成本，尤其在进展尚不关键的阶段。
• 仿真结果表明，通信与计算开销得到显著节省，尤其在优化初始阶段。
• 激活概率pk的递增特性确保了活跃节点数量随时间增长，从而在趋近收敛时实现高精度更新。
• 空闲机制实现了从低成本早期迭代到高精度最终迭代的平稳过渡，整体提升了优化效率。
• 理论分析证实，空闲机制未降低收敛特性，其收敛阶次与标准DQN保持一致。