[论文解读] Distributed Zero-Order Optimization under Adversarial Noise

Arya Akhavan, Massimiliano Pontil+1 more|arXiv (Cornell University)|Feb 1, 2021

Distributed Control Multi-Agent Systems参考文献 35被引用 5

一句话总结

本文提出了一种分布式零阶投影梯度下降算法，用于在仅能访问函数值（受对抗性噪声影响）的网络化环境中最小化强凸函数。与先前工作相比，该方法在依赖网络连通性和维度方面的收敛速率得到改进，理论边界表明在时间与维度等关键参数上接近最优。

ABSTRACT

We study the problem of distributed zero-order optimization for a class of strongly convex functions. They are formed by the average of local objectives, associated to different nodes in a prescribed network of connections. We propose a distributed zero-order projected gradient descent algorithm to solve this problem. Exchange of information within the network is permitted only between neighbouring nodes. A key feature of the algorithm is that it can query only function values, subject to a general noise model, that does not require zero mean or independent errors. We derive upper bounds for the average cumulative regret and optimization error of the algorithm which highlight the role played by a network connectivity parameter, the number of variables, the noise level, the strong convexity parameter of the global objective and certain smoothness properties of the local objectives. When the bound is specified to the standard undistributed setting, we obtain an improvement over the state-of-the-art bounds, due to the novel gradient estimation procedure proposed here. We also comment on lower bounds and observe that the dependency over certain function parameters in the bound is nearly optimal.

研究动机与目标

• 解决仅能获取函数值（含对抗性噪声）而无法获得梯度时的分布式优化问题。
• 设计一种可扩展的算法，用于在通信受限（仅与邻居通信）的代理网络中最小化局部目标函数的平均值。
• 在一般噪声模型下，实现优化误差和累积 regret 的紧密收敛速率。
• 在对网络连通性和维度的依赖性方面，优于当前最先进的零阶分布式优化方法。
• 建立理论边界，与无分布设置下的已知下界相比，接近最优。

提出的方法

• 提出一种仅使用函数值查询的分布式零阶投影梯度下降算法，更新仅限于相邻节点。
• 引入一种新颖的零阶梯度估计器，以提升计算效率和收敛速率。
• 采用一般噪声模型，其中误差无需为零均值或独立，允许函数评估中存在对抗性噪声。
• 使用具有谱隙 $1 - \rho$ 的网络矩阵来建模连通性，并将其纳入收敛边界。
• 对凸集 $\Theta$ 进行欧几里得投影，以确保迭代点保持在可行域内。
• 通过集中与稳定性论证，推导出累积 regret 和优化误差的理论边界。

实验结果

研究问题

• RQ1 在不依赖梯度访问的情况下，分布式零阶优化算法是否能在对抗性噪声下实现快速收敛？
• RQ2 网络连通性（以 $1 - \rho$ 衡量）如何影响零阶分布式优化的收敛速率？
• RQ3 维度 $d$ 和强凸性参数 $\alpha$ 对优化误差和 regret 的影响是什么？
• RQ4 所提方法是否能在零阶设置下实现接近已知下界的速度？
• RQ5 与现有两点估计器相比，该新颖的零阶梯度估计器在计算成本和误差方面如何提升性能？

主要发现

• 所提算法的优化误差边界为 $O\left(\frac{d\sqrt{T}}{\sqrt{\alpha}(1 - \rho)} + \frac{d^2}{\alpha(1 - \rho)}\right)$，相较于先前工作，对网络连通性参数 $1 - \rho$ 的依赖性得到改善。
• 累积 regret 的边界为 $O\left(\frac{d\sqrt{T}}{\sqrt{\alpha}(1 - \rho)} + \frac{d^2}{\alpha(1 - \rho)}\right)$，凸显了维度和网络结构的作用。
• 由于新型梯度估计器的引入，在标准（非分布式）设置下，该方法相比先前的零阶方法实现了 $O(d^2)$ 的计算增益。
• 理论边界在 $T$ 和 $\alpha$，或 $T$ 和 $d$ 方面均接近最优，经与 Akhavan 等人 [2020] 的已知下界比较验证。
• 数值实验表明，与 Akhavan 等人 [2020] 提出的两点估计器相比，所提方法在优化误差方面表现更优，尤其在高维和函数评估次数有限的情况下。
• 该算法在对抗性噪声下依然有效，因为噪声模型不要求均值为零或相互独立，从而扩大了其在现实场景中的适用性。