[论文解读] Asynchronous Distributed Bilevel Optimization

Yang Jiao, Kai Yang+3 more|arXiv (Cornell University)|Dec 20, 2022

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

该论文提出 ADBO，这是首个用于非凸目标的异步分布式双层优化算法，通过切平面近似将底层问题作为约束处理。其达到 ε-平稳点的迭代复杂度为 O(1/ε²)，实现了在具有迟滞容忍能力的去中心化、现实世界系统中高效、可扩展且鲁棒的训练。

ABSTRACT

Bilevel optimization plays an essential role in many machine learning tasks, ranging from hyperparameter optimization to meta-learning. Existing studies on bilevel optimization, however, focus on either centralized or synchronous distributed setting. The centralized bilevel optimization approaches require collecting massive amount of data to a single server, which inevitably incur significant communication expenses and may give rise to data privacy risks. Synchronous distributed bilevel optimization algorithms, on the other hand, often face the straggler problem and will immediately stop working if a few workers fail to respond. As a remedy, we propose Asynchronous Distributed Bilevel Optimization (ADBO) algorithm. The proposed ADBO can tackle bilevel optimization problems with both nonconvex upper-level and lower-level objective functions, and its convergence is theoretically guaranteed. Furthermore, it is revealed through theoretic analysis that the iteration complexity of ADBO to obtain the $ε$-stationary point is upper bounded by $\mathcal{O}(\frac{1}{ε^2})$. Thorough empirical studies on public datasets have been conducted to elucidate the effectiveness and efficiency of the proposed ADBO.

研究动机与目标

• 为解决集中式和同步分布式双层优化的局限性，包括通信瓶颈、数据隐私风险以及迟滞问题。
• 设计一种异步分布式算法，在大规模、去中心化的机器学习系统中，即使存在不可靠或缓慢的工作者，也能保持收敛性和效率。
• 在异步更新下，理论保证非凸上下层目标函数的双层问题收敛。
• 通过实证验证所提方法在收敛速度和迟滞条件下鲁棒性的优越性。

提出的方法

• ADBO 通过将底层优化视为约束来构建双层问题，并使用切平面近似来实现分布式计算。
• 该算法采用单循环结构，多个工作者异步更新上层和下层变量，无需同步。
• 采用参数服务器架构，工作者独立计算梯度并将更新推送到中央服务器，从而实现容错和减少空闲时间。
• 该方法利用一系列嵌套的可行区域，随迭代收缩，确保收敛至平稳点。
• ADBO 引入对偶变量和辅助变量以处理来自底层问题的隐式约束，从而实现高效的基于梯度的更新。
• 理论分析表明，即使在非凸情况下，达到 ε-平稳点的迭代复杂度仍被限制在 O(1/ε²)。

实验结果

研究问题

• RQ1 能否设计一种异步分布式双层优化算法，避免迟滞问题并在去中心化系统中保持收敛？
• RQ2 具有非凸目标的异步双层优化方法的理论迭代复杂度是多少？
• RQ3 与现有集中式和同步分布式双层优化方法相比，所提出的 ADBO 算法在实际中表现如何？
• RQ4 切平面近似能否在异步、分布式环境中有效处理底层隐式约束？

主要发现

• ADBO 达到 ε-平稳点的迭代复杂度为 O(1/ε²)，与非凸双层优化的最优已知复杂度一致。
• 在 MNIST、Fashion MNIST、CIFAR-10、Covertype、IJCNN1 和 Australian 数据集上的实证结果表明，ADBO 的收敛速度优于最先进的集中式和同步分布式方法。
• 在引入三个迟滞者（运行速度为正常工作者的四倍慢）的实验中，ADBO 保持了稳定的收敛性能，显著优于同步基线方法，后者出现停滞或性能显著下降。
• 该算法在多种数据集和系统配置下表现出鲁棒性和可扩展性，包括不同的通信延迟和工作者数量。
• 步长调度（如表 2 所示）按数据集分别调优，ADBO 在所有设置下均保持稳定且高效。