[论文解读] A Distributed Second-Order Algorithm You Can Trust

Celestine Dünner, Aurélien Lucchi+4 more|arXiv (Cornell University)|Jun 20, 2018

Cryptography and Data Security被引用 12

一句话总结

该论文提出ADN，一种分布式二阶优化算法，仅在每个工作节点上使用本地Hessian块，避免了完整Hessian矩阵的通信。通过结合块对角Hessian近似与自适应信赖域策略，ADN在凸问题和$L_1$-正则化问题上实现了全局收敛，且在大规模逻辑回归任务中优于当前最先进方法。

ABSTRACT

Due to the rapid growth of data and computational resources, distributed optimization has become an active research area in recent years. While first-order methods seem to dominate the field, second-order methods are nevertheless attractive as they potentially require fewer communication rounds to converge. However, there are significant drawbacks that impede their wide adoption, such as the computation and the communication of a large Hessian matrix. In this paper we present a new algorithm for distributed training of generalized linear models that only requires the computation of diagonal blocks of the Hessian matrix on the individual workers. To deal with this approximate information we propose an adaptive approach that - akin to trust-region methods - dynamically adapts the auxiliary model to compensate for modeling errors. We provide theoretical rates of convergence for a wide class of problems including L1-regularized objectives. We also demonstrate that our approach achieves state-of-the-art results on multiple large benchmark datasets.

研究动机与目标

• 通过避免完整Hessian矩阵的计算与通信，解决分布式二阶方法的高通信开销问题。
• 在非强凸设置（包括$L_1$-正则化目标）下，为分布式二阶优化提供全局收敛保证。
• 在分布式学习中，提升通信效率与收敛速度，优于一阶方法及现有二阶方法。
• 开发一种实用的、无需调参的算法，能够自适应地根据本地模型质量调整，而无需依赖固定步长或昂贵的线搜索。

提出的方法

• 该算法采用块可分的辅助模型，使用块对角Hessian近似，每个工作节点仅计算其本地Hessian块。
• 采用自适应信赖域方法，根据局部二阶近似的拟合程度动态调整辅助模型。
• 每个工作节点使用任意求解器求解本地子问题，仅向主节点通信最少的更新信息。
• 主节点聚合更新信息并将其应用于全局模型，通过自适应模型调整确保全局收敛。
• 该方法设计为通信高效且可扩展，对凸问题和$L_1$-正则化问题具备理论收敛保证。
• 高效实现避免了昂贵的Hessian计算与通信，同时支持无参操作。

实验结果

研究问题

• RQ1 能否在不通信完整Hessian矩阵的前提下，使分布式二阶方法在非强凸、$L_1$-正则化问题上实现全局收敛？
• RQ2 在通信最少的分布式设置下，如何有效利用本地二阶信息？
• RQ3 自适应信赖域策略是否能在收敛速度与稳定性上优于固定步长或线搜索方法？
• RQ4 仅使用本地Hessian块是否能比现有近似牛顿方法在大规模学习任务中实现更快的收敛速度？

主要发现

• ADN在多个大规模基准数据集上，对$L_2$-和$L_1$-正则化逻辑回归任务均达到最先进性能。
• 在$L_1$-正则化问题上，ADN显著优于CoCoA，后者对逻辑损失使用了较差的二次近似。
• ADN的自适应策略使得即使在无法获得模型误差紧致实用界的情况下，也能实现收敛。
• 在$L_2$-正则化问题上，ADN的收敛速度优于CoCoA和LS，尤其在高精度水平下表现更优。
• 该算法表现出稳定性能，无需依赖线搜索，而LS在非强凸目标下可能不稳定。
• ADN为一大类凸问题（包括$L_1$-正则化目标）提供了全局收敛保证，而此前的分布式二阶方法并未涵盖此类问题。