[论文解读] Distributed Randomized Gradient-Free Mirror Descent Algorithm for Constrained Optimization

Zhan Yu, Daniel W. C. Ho+1 more|arXiv (Cornell University)|Mar 11, 2019

Distributed Control Multi-Agent Systems参考文献 20被引用 9

一句话总结

该论文提出了一种用于多智能体网络中约束凸优化的分布式随机零阶镜像下降（DRGFMD）算法，采用Bregman散度和去中心化的倒数加权平均，实现了凸问题的O(1/√T)收敛率以及强凸情况下的O(ln T / T)收敛率——与无需梯度或次梯度信息的最优已知速率相匹配。

ABSTRACT

This paper is concerned with multi-agent optimization problem. A distributed randomized gradient-free mirror descent (DRGFMD) method is developed by introducing a randomized gradient-free oracle in the mirror descent scheme where the non-Euclidean Bregman divergence is used. The classical gradient descent method is generalized without using subgradient information of objective functions. The proposed algorithm is the first distributed non-Euclidean zeroth-order method which achieves an $O(1/\sqrt{T})$ convergence rate, recovering the best known optimal rate of distributed compact constrained convex optimization. Also, the DRGFMD algorithm achieves an $O(\ln T/T)$ convergence rate for the strongly convex constrained optimization case. The rate matches the best known non-compact constraint result. Moreover, a decentralized reciprocal weighted average approximating sequence is investigated and first used in distributed algorithm. A class of convergence rates are also achieved for the algorithm with weighted averaging (DRGFMD-WA). The technique on constructing the decentralized weighted average sequence provides new insight in searching for minimizers in distributed algorithms.

研究动机与目标

• 解决多智能体系统中约束优化领域缺乏分布式非欧几里得零阶方法的问题。
• 设计一种无需次梯度或梯度信息但保持收敛性保证的零阶算法。
• 引入一种去中心化的倒数加权平均序列，以改善分布式环境下的收敛行为。
• 在最小假设条件下，实现凸和强凸约束优化问题的最优收敛速率。
• 提供收敛性、一致性以及对维度和步长选择鲁棒性的理论分析与仿真验证。

提出的方法

• 将随机零阶梯度自由预言机集成到使用Bregman散度实现非欧几里得几何的镜像下降框架中。
• 构建一种去中心化的倒数加权平均逼近序列，以增强各智能体间收敛性和稳定性。
• 采用递减步长规则αₜ = 1/(t+1)ᵅ，其中α ∈ (0, 1/2]，以确保在时变有向网络下的收敛性。
• 利用镜像下降结合Bregman散度，将经典梯度下降推广至无需次梯度访问的非欧几里得空间。
• 运用概率和优化技术，建立智能体间期望差异和收敛速率的理论边界。
• 在标准目标函数假设下，将该方法应用于紧致凸和闭凸约束集。

实验结果

研究问题

• RQ1 能否开发一种分布式零阶优化算法，在避免使用次梯度或梯度信息的同时，仍保持最优收敛速率？
• RQ2 在非欧几里得Bregman框架下，使用随机零阶梯度自由预言机的分布式镜像下降算法的收敛速率是多少？
• RQ3 引入去中心化的倒数加权平均序列如何影响分布式优化中的收敛性和一致性？
• RQ4 所提出的算法能否在无梯度访问条件下，实现凸和强凸约束问题的最优已知收敛速率？
• RQ5 决策空间的维度和步长选择如何影响分布式环境下收敛速度和精度？

主要发现

• DRGFMD算法在凸约束优化中实现了O(1/√T)的收敛速率，与分布式紧致约束设置下的最优已知速率一致。
• 对于强凸问题，该算法实现了O(ln T / T)的收敛速率，与最优已知非紧致约束结果相匹配。
• 所提出的去中心化倒数加权平均序列改善了收敛行为，并实现了一类改进的收敛速率。
• 仿真结果表明，收敛速度随维度n增加而下降，与理论预期一致。
• DRGFMD-WA变体优于以往的分布式零阶投影方法（DGFP），精度达到约10⁻²，优于DGFP的10⁻¹。
• 较小的步长指数δ（如0.3）导致收敛速度显著慢于较大的δ值（如0.5），且δ = 0.3与δ = 0.4之间存在明显差距。