[论文解读] Efficient Stochastic Gradient Descent for Distributionally Robust Learning

Soumyadip Ghosh, Mark S. Squillante+1 more|arXiv (Cornell University)|May 22, 2018

Stochastic Gradient Optimization Techniques被引用 8

一句话总结

该论文提出了一种用于分布鲁棒学习的新型随机梯度下降算法，通过从一个小子集逐步扩展到完整数据集来提升可扩展性。通过动态增加训练批次大小，该方法在大规模数据集上实现了比标准随机方法更快的收敛速度和更好的泛化性能。

ABSTRACT

We consider a new stochastic gradient descent algorithm for efficiently solving general min-max optimization problems that arise naturally in distributionally robust learning. By focusing on the entire dataset, current approaches do not scale well. We address this issue by initially focusing on a subset of the data and progressively increasing this support to statistically cover the entire dataset.

研究动机与目标

• 为解决现有随机梯度下降方法在分布鲁棒学习中因依赖全批量计算而导致的可扩展性差的问题。
• 开发一种高效的优化框架，在减少大规模数据集计算开销的同时保持鲁棒性。
• 通过动态扩展训练所用数据子集，实现更快的收敛速度和更优的泛化性能。
• 弥合分布鲁棒优化与实际机器学习应用中可扩展性之间的差距。

提出的方法

• 算法从一个随机选择的小型数据子集开始训练，以降低初始计算成本。
• 随着时间推移，逐步增加训练批次的大小，确保在优化过程中覆盖更广泛的数据。
• 该方法保持了分布鲁棒学习中典型的最小-最大优化结构，聚焦于最坏情况下的分布偏移。
• 在不断扩展的数据子集上计算随机梯度，以平衡损失曲面的探索与利用。
• 逐步扩展数据的策略旨在提升统计覆盖范围并降低梯度估计的方差。
• 该方法集成了自适应学习率策略，以提升收敛速度和稳定性。

实验结果

研究问题

• RQ1 如何在不牺牲鲁棒性的前提下，使随机梯度下降在分布鲁棒学习中更具可扩展性？
• RQ2 逐步扩展训练数据子集对收敛速度和泛化性能有何影响？
• RQ3 动态数据支持策略是否能降低计算成本，同时在大规模数据集上保持性能？
• RQ4 与标准SGD相比，所提出方法在应对分布偏移方面的鲁棒性如何？

主要发现

• 所提出的方法在大规模分布鲁棒学习问题上相比标准随机梯度下降实现了更快的收敛速度。
• 逐步扩展数据可提升在多个基准数据集上的泛化性能。
• 该算法通过从一开始就避免全批量梯度计算，显著降低了计算开销。
• 即使在逐步扩展的数据子集上训练，该方法仍能保持对分布偏移的鲁棒性。