[论文解读] A Stochastic Subgradient Method for Distributionally Robust Non-Convex Learning

Mert Gürbüzbalaban, Andrzej Ruszczyński+1 more|arXiv (Cornell University)|Jun 8, 2020

Risk and Portfolio Optimization参考文献 54被引用 4

一句话总结

本文提出了一种随机次梯度方法（STS），用于使用半偏差风险处理数据分布漂移的分布鲁棒非凸学习。该方法在分布鲁棒性下，首次为非凸、非光滑损失函数提供了收敛至驻点的保证，且与标准SGD相比计算开销极低。

ABSTRACT

We consider a distributionally robust formulation of stochastic optimization problems arising in statistical learning, where robustness is with respect to uncertainty in the underlying data distribution. Our formulation builds on risk-averse optimization techniques and the theory of coherent risk measures. It uses semi-deviation risk for quantifying uncertainty, allowing us to compute solutions that are robust against perturbations in the population data distribution. We consider a large family of loss functions that can be non-convex and non-smooth and develop an efficient stochastic subgradient method. We prove that it converges to a point satisfying the optimality conditions. To our knowledge, this is the first method with rigorous convergence guarantees in the context of non-convex non-smooth distributionally robust stochastic optimization. Our method can achieve any desired level of robustness with little extra computational cost compared to population risk minimization. We also illustrate the performance of our algorithm on real datasets arising in convex and non-convex supervised learning problems.

研究动机与目标

• 解决在非凸和非光滑设置下，分布鲁棒优化缺乏收敛性保证的问题。
• 开发一种高效算法，在不显著增加计算成本的前提下，保持对数据分布扰动的鲁棒性。
• 实现对具有上行和下行尖点的广义可微损失函数的鲁棒学习，这类损失函数在现实机器学习问题中很常见。
• 基于半偏差风险，在分布鲁棒公式下提供对最优性条件的理论收敛性。
• 在真实数据集上展示方法在分布漂移下的实际鲁棒性，优于标准SGD。

提出的方法

• 使用半偏差风险量化数据分布中的不确定性，构建分布鲁棒优化问题。
• 提出一种专为非凸和非光滑损失函数设计的随机次梯度方法（STS），并具备广义可微性。
• 利用拉格朗日松弛和基于样本的近似方法，处理鲁棒优化问题中的极小极大结构。
• 引入惩罚参数（κ）以控制鲁棒性水平，实现鲁棒性与经验性能之间的权衡。
• 基于一致风险度量和弱闭凸不确定性集，通过收敛性分析证明驻点收敛。
• 采用自适应步长和采样策略实现STS，以确保在大规模数据集上的鲁棒性和效率。

实验结果

研究问题

• RQ1 随机次梯度方法能否在分布鲁棒非凸优化中实现非光滑损失的收敛性保证？
• RQ2 与标准SGD相比，所提出方法在数据分布漂移下的表现如何？
• RQ3 使用半偏差风险实现分布鲁棒性带来的计算开销有多大？
• RQ4 该方法能否在鲁棒优化框架中有效处理具有尖点和不可微点的损失函数？
• RQ5 调整鲁棒性水平参数κ对真实世界数据集上的泛化能力和测试性能有何影响？

主要发现

• STS方法在分布鲁棒性下，实现了对非凸和非光滑损失函数收敛至驻点，首次提供了此类理论保证。
• STS在计算开销极低的情况下，保持了对分布漂移的鲁棒性——例如，在MNIST和CIFAR10数据集中删除10%训练数据（如移除类别0）时仍表现稳健。
• 在MNIST和CIFAR10数据集上，当κ = 0.8时，STS在测试损失的累积分布函数（CDF）上显著优于SGD，表现出更低的尾部误差。
• 在Adult数据集中，当80%的低收入样本被移除时，STS在测试损失CDF上优于Bandit Mirror Descent（BMD），尤其在高鲁棒性水平（κ = 0.8）时表现更优。
• 当训练数据未被污染时，STS的性能与SGD相当或略差，证实鲁棒性惩罚仅在分布漂移发生时被激活。
• 该方法可通过参数κ有效控制鲁棒性，且与标准SGD相比计算开销无显著增加。