[论文解读] An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives

Qi Qi, Zhishuai Guo+3 more|arXiv (Cornell University)|Jun 17, 2020

Risk and Portfolio Optimization被引用 9

一句话总结

该论文提出了一种无对偶性的在线随机方法，用于处理非凸目标的分布鲁棒优化（DRO），通过KL散度正则化将最小-最大DRO问题转化为随机复合优化问题。该方法在大规模深度学习任务（包括类别不平衡数据集）上实现了SOTA的收敛复杂度，并将训练速度提升2倍以上，同时避免了高维对偶变量的使用，支持在线学习。

ABSTRACT

In this paper, we propose a practical online method for solving a class of distributionally robust optimization (DRO) with non-convex objectives, which has important applications in machine learning for improving the robustness of neural networks. In the literature, most methods for solving DRO are based on stochastic primal-dual methods. However, primal-dual methods for DRO suffer from several drawbacks: (1) manipulating a high-dimensional dual variable corresponding to the size of data is time expensive; (2) they are not friendly to online learning where data is coming sequentially. To address these issues, we consider a class of DRO with an KL divergence regularization on the dual variables, transform the min-max problem into a compositional minimization problem, and propose practical duality-free online stochastic methods without requiring a large mini-batch size. We establish the state-of-the-art complexities of the proposed methods with and without a Polyak-Łojasiewicz (PL) condition of the objective. Empirical studies on large-scale deep learning tasks (i) demonstrate that our method can speed up the training by more than 2 times than baseline methods and save days of training time on a large-scale dataset with $\sim$ 265K images, and (ii) verify the supreme performance of DRO over Empirical Risk Minimization (ERM) on imbalanced datasets. Of independent interest, the proposed method can be also used for solving a family of stochastic compositional problems with state-of-the-art complexities.

研究动机与目标

• 为解决在非凸目标下，随机原-对偶方法在DRO中效率低下的问题，特别是由于高维对偶变量和在线学习支持不足所致。
• 开发一种在线、可扩展的算法，避免维护大小为 $ n $ 的完整对偶向量，从而降低内存和计算成本。
• 在一般条件和Polyak-Łojasiewicz（PL）条件下，为DRO建立最优收敛速率，优于现有随机复合方法。
• 实现在深度学习中的实际应用，特别是在大规模和类别不平衡数据集上的鲁棒训练。

提出的方法

• 通过在对偶变量上施加KL散度正则化，将最小-最大DRO问题转化为复合最小化问题，从而实现无对偶形式。
• 推导出等价目标函数：$ F_{\text{dro}}(\mathbf{w}) = \lambda \log\left(\frac{1}{n}\sum_{i=1}^{n} \exp(\ell(\mathbf{w};\mathbf{z}_i)/\lambda)\right) + r(\mathbf{w}) $，其为一个随机复合问题。
• 提出一种新颖的在线随机算法RECOVER，结合方差减少技术（如SPIDER）以实现最优样本复杂度。
• 集成自适应步长和小批量采样，以降低梯度方差并提升收敛性，而无需依赖大批次大小。
• 利用复合目标中指数族的结构，实现高效的在线更新，避免显式维护对偶变量。
• 在一般条件和PL条件下建立理论收敛保证，复杂度界达到或优于SOTA水平。

实验结果

研究问题

• RQ1 我们能否设计一种在线DRO算法，避免维护高维对偶变量 $ \mathbf{p} \in \mathbb{R}^n $，从而实现可扩展且内存高效的训练？
• RQ2 我们能否在不依赖原-对偶分解的前提下，为非凸DRO问题实现最优收敛复杂度？
• RQ3 所提出方法在大规模深度学习任务中处理类别不平衡数据时的实际表现如何？
• RQ4 该方法能否推广至更广泛的具有最优样本复杂度的随机复合问题？

主要发现

• 与基线方法相比，该方法在包含约26.5万张图像的大规模数据集上实现了超过2倍的训练时间加速。
• 在大规模深度学习任务中，该方法将训练时间减少了数天，展现出强大的实际可扩展性。
• 实证结果证实，使用该方法的DRO在类别不平衡数据集上显著优于经验风险最小化（ERM）。
• 理论分析为在一般条件和Polyak-Łojasiewicz（PL）条件下，非凸DRO建立了SOTA样本复杂度。
• 该方法实现了最优收敛速率，样本复杂度为 $ O(1/\epsilon) $，与随机复合问题的最佳已知界一致。
• 该算法完全支持在线处理，且无需预先知晓数据集大小 $ n $，适用于序列数据处理。