[论文解读] Distributed Projected Subgradient Method for Weakly Convex Optimization.

Shixiang Chen, Alfredo García+1 more|arXiv (Cornell University)|Apr 28, 2020

Sparse and Compressive Sensing Techniques参考文献 30被引用 4

一句话总结

本文提出了一种用于弱凸优化的分布式投影随机子梯度法（stoDPSM），通过Moreau包络驻性度量证明了其全局收敛性。在锐度条件下，采用几何递减步长的确定性DPSM可线性收敛至锐度最小值，为字典学习和鲁棒相位恢复等大规模机器学习问题提供了理论保证。

ABSTRACT

The stochastic subgradient method is a widely-used algorithm for solving large-scale optimization problems arising in machine learning. Often these problems are neither smooth nor convex. Recently, Davis et al. [1-2] characterized the convergence of the stochastic subgradient method for the weakly convex case, which encompasses many important applications (e.g., robust phase retrieval, blind deconvolution, biconvex compressive sensing, and dictionary learning). In practice, distributed implementations of the projected stochastic subgradient method (stoDPSM) are used to speed-up risk minimization. In this paper, we propose a distributed implementation of the stochastic subgradient method with a theoretical guarantee. Specifically, we show the global convergence of stoDPSM using the Moreau envelope stationarity measure. Furthermore, under a so-called sharpness condition, we show that deterministic DPSM (with a proper initialization) converges linearly to the sharp minima, using geometrically diminishing step-size. We provide numerical experiments to support our theoretical analysis.

研究动机与目标

• 为非凸、非光滑设置下分布式随机子梯度方法的实现缺乏理论收敛保证的问题提供解决方案。
• 将随机子梯度方法的收敛性分析扩展至包含关键机器学习应用的弱凸问题。
• 利用Moreau包络驻性度量，建立分布式投影随机子梯度法（stoDPSM）的全局收敛性。
• 在锐度条件下，证明采用几何递减步长的确定性DPSM可实现线性收敛。
• 通过弱凸优化任务上的数值实验验证理论发现。

提出的方法

• 为弱凸优化提出一种分布式投影随机子梯度法（stoDPSM），其中每个代理使用局部子梯度和投影进行更新。
• 采用Moreau包络驻性度量作为收敛准则，该准则适用于非光滑和弱凸问题。
• 在确定性DPSM变体中引入几何递减步长规则，以在锐度条件下实现线性收敛。
• 需要适当的初始化，以确保在确定性设置下收敛至锐度最小值。
• 采用分布式计算，结合局部更新与一致性机制，实现多代理间的可扩展优化。
• 通过利用Moreau包络的性质和子梯度动力学，分析弱凸条件下的收敛性。

实验结果

研究问题

• RQ1 分布式投影随机子梯度法（stoDPSM）是否对弱凸优化问题具有全局收敛性？
• RQ2 Moreau包络驻性度量是否可作为分布式设置下非光滑、弱凸问题的有效收敛准则？
• RQ3 在何种条件下，确定性DPSM可实现对锐度最小值的线性收敛？
• RQ4 在锐度条件下，几何递减步长对确定性DPSM的收敛性有何影响？
• RQ5 数值实验是否证实了所提分布式方法的理论收敛行为？

主要发现

• 所提出的stoDPSM在基于Moreau包络驻性度量的衡量下，实现了对弱凸优化问题的全局收敛。
• 在锐度条件下，采用几何递减步长的确定性DPSM可线性收敛至锐度最小值。
• 当初始化选择得当时，收敛保证成立，确保在锐度情况下收敛至最优解。
• Moreau包络驻性度量能有效捕捉非光滑和弱凸设置下的收敛性，从而支持理论分析。
• 数值实验支持理论发现，展示了在测试问题中一致的收敛行为。
• 该方法适用于字典学习、鲁棒相位恢复和盲反卷积等实际机器学习任务。