[论文解读] Decentralized Gossip-Based Stochastic Bilevel Optimization over Communication Networks

Shuoguang Yang, Xuezhou Zhang+1 more|arXiv (Cornell University)|Jun 22, 2022

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

该论文提出了一种去中心化的基于gossip的随机双层优化算法，适用于仅与邻居通信的网络化智能体，支持单时标下的内层与外层优化。该算法在非凸问题中实现最优的 $Ó(1/(K\epsilon^2))$ 样本复杂度，在强凸问题中实现 $Ó(1/(K\epsilon))$ 的样本复杂度，并在网络规模 $K$ 上实现线性加速。

ABSTRACT

Bilevel optimization have gained growing interests, with numerous applications found in meta learning, minimax games, reinforcement learning, and nested composition optimization. This paper studies the problem of distributed bilevel optimization over a network where agents can only communicate with neighbors, including examples from multi-task, multi-agent learning and federated learning. In this paper, we propose a gossip-based distributed bilevel learning algorithm that allows networked agents to solve both the inner and outer optimization problems in a single timescale and share information via network propagation. We show that our algorithm enjoys the $\mathcal{O}(\frac{1}{K ε^2})$ per-agent sample complexity for general nonconvex bilevel optimization and $\mathcal{O}(\frac{1}{K ε})$ for strongly convex objective, achieving a speedup that scales linearly with the network size. The sample complexities are optimal in both $ε$ and $K$. We test our algorithm on the examples of hyperparameter tuning and decentralized reinforcement learning. Simulated experiments confirmed that our algorithm achieves the state-of-the-art training efficiency and test accuracy.

研究动机与目标

• 解决多智能体和联邦学习设置下去中心化随机双层优化中缺乏高效算法的问题。
• 使网络化智能体仅通过与邻居的本地通信即可求解双层问题，避免集中式协调。
• 在网络规模 $K$ 上实现最优样本复杂度与收敛速度的线性加速。
• 开发一种单时标算法，通过基于gossip的信息交换，联合优化内层与外层问题。

提出的方法

• 使用基于gossip的通信协议，每个智能体通过混合权重与邻居平均其状态，以在网络中传播信息。
• 采用单时标更新机制，通过随机梯度同时执行内层（$y$）与外层（$x$）优化。
• 为内层与外层循环引入自适应步长，以确保在一般非凸与强凸设置下的收敛性。
• 利用本地采样与迭代gossip更新，估计内层问题 $y^*(x)$ 的解，而无需全局同步。
• 应用去中心化随机梯度下降框架，结合一致性平均化，以保持智能体间的一致性。
• 在分析中采用双层结构，但通过在更新外层前顺序执行内层更新，以单层方式实现。

实验结果

研究问题

• RQ1 去中心化的双层优化算法是否能在非凸设置下实现最优样本复杂度，同时随网络规模线性扩展？
• RQ2 基于gossip的通信是否能在无中心服务器的情况下实现智能体间有效信息共享？
• RQ3 随着智能体数量增加，该算法是否能在收敛速度上实现线性加速？
• RQ4 在超参数调优和强化学习等实际应用中，该算法表现如何？

主要发现

• 该算法在一般非凸双层问题中实现每智能体 $Ó(1/(K\\epsilon^2))$ 的样本复杂度，这在 $\epsilon$ 与 $K$ 上均为最优。
• 对于强凸目标函数，样本复杂度为 $\u00d3(1/(K\epsilon))$，同样在 $\epsilon$ 与 $K$ 上达到最优。
• 模拟实验表明存在线性加速：随着网络规模 $K$ 增大，达到 $\epsilon$-最优性所需的总样本数大致保持恒定。
• 在超参数调优与去中心化强化学习任务中，该算法在训练效率与测试准确率方面均优于基线方法。
• 对 $K$ 的对数样本数的 75% 置信区间显示，在不同精度水平（$\epsilon = 0.8\times10^{-6}, 1.5\times10^{-6}, 2\times10^{-6}$）下均表现出一致的线性加速。
• 理论分析证实，该算法以速率 $\frac{1}{T}\sum_{t=0}^{T-1}\|\nabla F(x_t)\|^2 = \u00d3(1/\sqrt{KT})$ 收敛至驻点。