[论文解读] Decentralized Submodular Maximization: Bridging Discrete and Continuous Settings

Aryan Mokhtari, Hamed Hassani+1 more|arXiv (Cornell University)|Feb 11, 2018

Stochastic Gradient Optimization Techniques参考文献 37被引用 12

一句话总结

本论文提出了去中心化连续贪心算法（DCG），这是首个在联网系统中实现连续子模最大化问题的完全去中心化算法，仅通过局部通信与计算，实现了紧致的 $(1 - 1/e - \epsilon)$ 近似保证。该方法进一步通过连续松弛与舍入技术，实现了去中心化的离散子模最大化，保持相同的近似因子，并提供了依赖于网络拓扑与规模的可证明收敛边界。

ABSTRACT

In this paper, we showcase the interplay between discrete and continuous optimization in network-structured settings. We propose the first fully decentralized optimization method for a wide class of non-convex objective functions that possess a diminishing returns property. More specifically, given an arbitrary connected network and a global continuous submodular function, formed by a sum of local functions, we develop Decentralized Continuous Greedy (DCG), a message passing algorithm that converges to the tight (1-1/e) approximation factor of the optimum global solution using only local computation and communication. We also provide strong convergence bounds as a function of network size and spectral characteristics of the underlying topology. Interestingly, DCG readily provides a simple recipe for decentralized discrete submodular maximization through the means of continuous relaxations. Formally, we demonstrate that by lifting the local discrete functions to continuous domains and using DCG as an interface we can develop a consensus algorithm that also achieves the tight (1-1/e) approximation guarantee of the global discrete solution once a proper rounding scheme is applied.

研究动机与目标

• 开发一种用于联网系统中连续与离散子模函数的完全去中心化优化框架。
• 在无需集中协调的情况下，为连续与离散子模最大化问题实现紧致的 $(1 - 1/e)$ 近似比。
• 确保在最小通信与本地计算下实现收敛，适用于大规模、隐私敏感的应用场景。
• 通过在去中心化环境中利用连续松弛与舍入技术，弥合离散与连续优化之间的鸿沟。
• 提供依赖于网络规模与底层拓扑谱特性的收敛边界。

提出的方法

• 提出去中心化连续贪心（DCG）算法，一种基于消息传递的算法，仅使用邻居信息进行本地更新，避免投影操作。
• 通过离散子模函数的连续松弛，使连续域中的梯度优化成为可能。
• 对连续解应用舍入方案，以恢复具有保证近似比的离散解。
• 采用基于一致性更新规则，每个节点维护全局解的本地估计，并通过与邻居通信实现收敛。
• 利用谱图理论推导收敛边界，表明其对网络的代数连通性和直径具有依赖性。
• 提出一种新颖的分析框架，结合随机逼近与子模函数性质，以建立收敛速率。

实验结果

研究问题

• RQ1 能否设计一种完全去中心化的算法，在联网系统中实现连续子模最大化问题的紧致 $(1 - 1/e)$ 近似？
• RQ2 如何通过连续松弛在去中心化环境中求解离散子模最大化问题？
• RQ3 去中心化子模优化的收敛速率如何依赖于网络规模与谱特性？
• RQ4 该方法是否能在去中心化环境中保持数据隐私，同时实现最优近似保证？
• RQ5 网络拓扑对去中心化子模优化的收敛速度与近似质量有何影响？

主要发现

• DCG 在 $O(1/\epsilon^2)$ 次通信轮次内实现了连续子模最大化问题的 $(1 - 1/e - \epsilon)$ 近似。
• 该算法的收敛速率依赖于网络的代数连通性和直径，可收敛至最优解。
• 对于离散子模最大化问题，该方法通过连续松弛与舍入，在 $O(1/\epsilon^3)$ 轮次内实现了相同的 $(1 - 1/e - \epsilon)$ 近似。
• 收敛边界以网络规模、谱隙、函数光滑性为参数进行推导，明确依赖于 $T$、$D$、$L$、$\sigma$ 和 $C$。
• 通过避免数据共享，该方法确保了隐私，每个节点仅交换本地估计与梯度。
• 实验与理论分析均表明，即使在随机梯度与网络延迟条件下，该算法仍能保持强近似保证。