[论文解读] Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization

Yaodong Yu, Tianyi Lin+2 more|arXiv (Cornell University)|Apr 27, 2021

Risk and Portfolio Optimization参考文献 64被引用 6

一句话总结

该论文提出了方差减少的随机外梯度算法——SEVR 和 SPPRR，用于在 Wasserstein 距离下实现快速且可扩展的分布鲁棒学习。通过将 Wasserstein DRSL 重新表述为一个光滑的、有限和的极小极大问题，该方法在保持大规模设置下对分布偏移鲁棒性的同时，实现了比现有方法更快的收敛速度。

ABSTRACT

Distributionally robust supervised learning (DRSL) is emerging as a key paradigm for building reliable machine learning systems for real-world applications -- reflecting the need for classifiers and predictive models that are robust to the distribution shifts that arise from phenomena such as selection bias or nonstationarity. Existing algorithms for solving Wasserstein DRSL -- one of the most popular DRSL frameworks based around robustness to perturbations in the Wasserstein distance -- have serious limitations that limit their use in large-scale problems -- in particular they involve solving complex subproblems and they fail to make use of stochastic gradients. We revisit Wasserstein DRSL through the lens of min-max optimization and derive scalable and efficiently implementable stochastic extra-gradient algorithms which provably achieve faster convergence rates than existing approaches. We demonstrate their effectiveness on synthetic and real data when compared to existing DRSL approaches. Key to our results is the use of variance reduction and random reshuffling to accelerate stochastic min-max optimization, the analysis of which may be of independent interest.

研究动机与目标

• 解决大规模 Wasserstein 分布鲁棒监督学习（WDRSL）问题中缺乏高效、可扩展算法的问题。
• 克服现有方法依赖非光滑重构或确定性子问题求解所导致的可扩展性差的局限性。
• 为具有广义线性损失的 WDRSL 问题设计面向极小极大结构的随机、方差减少优化算法。
• 实现比现成求解器和确定性一阶方法更快的收敛速率。
• 在合成数据集和真实世界数据集上，在分布偏移条件下展示改进的鲁棒性和计算效率。

提出的方法

• 将具有广义线性损失的 WDRSL 重新表述为一个在 ℓ∞-球和二阶锥上的光滑、凸-凹极小极大问题。
• 引入极小极大重构下的最优性概念，并证明其与标准 WDRSL 最优性的一致性。
• 提出带方差减少的随机外梯度（SEVR），利用方差减少技术加速随机极小极大设置下的收敛。
• 开发带随机重排的随机近端点方法（SPPRR），利用随机重排提升非凸-凹极小极大问题中的收敛性能。
• 通过精心设计的复杂度分析，建立相较于现有求解器和确定性框架的更快收敛速率。
• 利用有限和结构与光滑性，实现基于随机梯度更新的高效实现。

实验结果

研究问题

• RQ1 与现有求解器相比，方差减少的随机外梯度方法是否能在大规模 Wasserstein DRSL 中实现更快的收敛？
• RQ2 所提出的 WDRSL 极小极大重构如何实现对随机梯度和方差减少的有效利用？
• RQ3 小批量大小和固定点迭代次数对 SEVR 和 SPPRR 的收敛性和鲁棒性有何影响？
• RQ4 在对抗性分布偏移下，WDRSL 的性能与 ERM 和 f-散度基 DRSL 相比如何？
• RQ5 SPPRR 中使用随机重排是否能提升 WDRSL 极小极大优化中的收敛性能？

主要发现

• SEVR 和 SPPRR 的收敛速率显著优于现有现成求解器和确定性一阶方法。
• 在 Wasserstein 距离的大扰动下，所提算法在鲁棒损失方面显著优于标准 ERM 和 f-散度基 DRSL。
• 对于较大的扰动半径，当数据支持不相交时，使用所提方法的 WDRSL 显著优于 f-散度基 DRSL。
• 在 n_train = 1,000 的合成数据集中，WDRSL 的鲁棒性略优于 f-散度基 DRSL；当 n_train = 2,000 时，f-散度方法表现略优，表明数据规模会影响相对性能。
• 实验表明，SEVR 在不同小批量大小（B ∈ {32, 64, 128, 256}）下均表现鲁棒，而 SPPRR 在增加固定点迭代次数（M ∈ {2, 4, 6}）时，收敛速度和鲁棒性均得到提升。
• 对极小极大优化中方差减少与随机重排的分析，提供了具有独立理论意义的见解，超越 WDRSL 本身。