[论文解读] Distributed Distributionally Robust Optimization with Non-Convex Objectives

Yang Jiao, Kai Yang+1 more|arXiv (Cornell University)|Oct 14, 2022

Risk and Portfolio Optimization被引用 6

一句话总结

本文提出 ASPIRE-EASE，一种用于非凸分布鲁棒优化（DDRO）的异步分布式算法，通过引入受限 D-范数不确定集，有效融合先验分布并灵活控制鲁棒性。该方法在非凸目标下保证收敛性，展现出快速收敛速度、对数据异质性的鲁棒性以及对对抗性攻击的鲁棒性，并在真实世界数据集上实现了鲁棒性与性能之间的有利权衡。

ABSTRACT

Distributionally Robust Optimization (DRO), which aims to find an optimal decision that minimizes the worst case cost over the ambiguity set of probability distribution, has been widely applied in diverse applications, e.g., network behavior analysis, risk management, etc. However, existing DRO techniques face three key challenges: 1) how to deal with the asynchronous updating in a distributed environment; 2) how to leverage the prior distribution effectively; 3) how to properly adjust the degree of robustness according to different scenarios. To this end, we propose an asynchronous distributed algorithm, named Asynchronous Single-looP alternatIve gRadient projEction (ASPIRE) algorithm with the itErative Active SEt method (EASE) to tackle the distributed distributionally robust optimization (DDRO) problem. Furthermore, a new uncertainty set, i.e., constrained D-norm uncertainty set, is developed to effectively leverage the prior distribution and flexibly control the degree of robustness. Finally, our theoretical analysis elucidates that the proposed algorithm is guaranteed to converge and the iteration complexity is also analyzed. Extensive empirical studies on real-world datasets demonstrate that the proposed method can not only achieve fast convergence, and remain robust against data heterogeneity as well as malicious attacks, but also tradeoff robustness with performance.

研究动机与目标

• 解决设计适用于非凸目标且具备收敛性保证的异步分布式 DDRO 算法的挑战。
• 开发一种能有效利用先验分布信息，同时实现鲁棒性灵活控制的不确定集。
• 克服先前 DRO 方法的局限性，如对数据异质性处理不佳、对恶意攻击缺乏鲁棒性，以及对非凸设置支持有限。
• 为所提出的算法在异步、分布式设置下提供理论收敛性保证及迭代复杂度分析。
• 通过实证验证该方法在真实世界数据分布下的鲁棒性、收敛速度以及性能权衡表现。

提出的方法

• 提出 ASPIRE-EASE 算法，结合异步单循环投影梯度法与用于求解 DDRO 问题的迭代主动集方法（EASE）。
• 引入受限 D-范数不确定集，将先验分布信息嵌入约束中，确保可行性并支持灵活的鲁棒性调节。
• 将 DRO 问题重新表述为带有共享变量的极小化-极大化优化问题，通过一致性约束在各工作节点间同步模型参数。
• 基于 LP 类型优化设计割平面生成子问题以处理 D-范数不确定集，其计算效率高于 SOCP 或 REP 基方法。
• 在异步设置下，采用带自适应步长和主动集识别的近端梯度法，以处理非凸目标。
• 采用对偶分解方法将问题分解至各工作节点，实现低协调需求的分布式计算。

实验结果

研究问题

• RQ1 能否设计一种适用于非凸 DRO 的异步分布式算法，具备收敛性保证且通信开销低？
• RQ2 如何有效将先验分布信息融入不确定集，以提升鲁棒性而不损害可行性？
• RQ3 与椭球或 KL 散度等现有集合相比，D-范数不确定集是否能在保持计算效率的同时实现鲁棒性的灵活控制？
• RQ4 所提算法在异步、非凸设置下的理论迭代复杂度是多少？
• RQ5 该方法在数据异质性、系统延迟及对抗性条件下实际表现如何？

主要发现

• ASPIRE-EASE 算法在异步分布式设置下，以 O(1/ε⁶) 的迭代复杂度收敛至 ε-稳定点。
• 受限 D-范数不确定集有效融合了先验分布信息，并支持鲁棒性水平的灵活调节，提升了模型泛化能力。
• 实验结果表明，该方法在收敛速度上优于 GDmax 和 GDA 等现有方法，尤其在非独立同分布（non-IID）和对抗性数据条件下表现更优。
• 该方法对数据异质性和恶意攻击保持鲁棒，能在不同工作节点分布下维持高性能。
• 该算法在鲁棒性与性能之间实现了有利权衡，在收敛速度和鲁棒性方面优于 DRFA-Prox 和 AFL。
• 基于 D-范数集合的割平面子问题计算高效，可通过归并排序求解，相较于 SOCP 或 REP 基方法更具可扩展性。