[论文解读] A Practical Online Method for Distributionally Deep Robust Optimization.

Qi Qi, Zhishuai Guo+3 more|arXiv (Cornell University)|Jun 17, 2020

Statistical Methods and Inference被引用 6

一句话总结

该论文提出了一种无对偶性的在线随机方法，用于深度学习中的分布鲁棒优化（DRO），通过将最小-最大公式转化为最小化问题，避免了高维对偶变量，并实现了高效的在线学习。在Polyak-Lojasiewicz（PL）条件下，与现有最小-最大或最小化公式方法相比，该方法实现了最优样本复杂度和更优的轮次复杂度，且在中等规模小批量下表现良好。

ABSTRACT

In this paper, we propose a practical online method for solving a distributionally robust optimization (DRO) for deep learning, which has important applications in machine learning for improving the robustness of neural networks. In the literature, most methods for solving DRO are based on stochastic primal-dual methods. However, primal-dual methods for deep DRO suffer from several drawbacks: (1) manipulating a high-dimensional dual variable corresponding to the size of data is time expensive; (2) they are not friendly to online learning where data is coming sequentially. To address these issues, we transform the min-max formulation into a minimization formulation and propose a practical duality-free online stochastic method for solving deep DRO with KL divergence regularization. The proposed online stochastic method resembles the practical stochastic Nesterov's method in several perspectives that are widely used for learning deep neural networks. Under a Polyak-Lojasiewicz (PL) condition, we prove that the proposed method can enjoy an optimal sample complexity and a better round complexity (the number of gradient evaluations divided by a fixed mini-batch size) with a moderate mini-batch size than existing algorithms for solving the min-max or min formulation of DRO. Of independent interest, the proposed method can be also used for solving a family of stochastic compositional problems.

研究动机与目标

• 为解决由于高维对偶变量导致的原始-对偶方法在深度DRO中效率低下的问题。
• 开发一种实用的在线方法，避免对对偶变量的处理，并能随顺序数据高效扩展。
• 在Polyak-Lojasiewicz（PL）条件下，为深度DRO实现最优样本复杂度和改进的轮次复杂度。
• 使该方法能够应用于更广泛的随机复合问题类别。

提出的方法

• 通过消除对偶变量，将最小-最大DRO公式转化为最小化问题，从而实现无对偶方法。
• 采用带有KL散度正则化的在线随机优化框架，以处理分布鲁棒性。
• 该算法受实用的随机Nesterov方法启发，利用类似动量的更新策略以实现更快收敛。
• 采用固定小批量大小，并通过最小化每轮迭代的梯度评估次数，保持低轮次复杂度。
• 该方法设计为与在线学习兼容，其中数据按顺序到达。
• 利用PL条件建立收敛性保证，并实现最优样本复杂度。

实验结果

研究问题

• RQ1 无对偶性的在线随机方法是否能在深度DRO中实现比现有原始-对偶或最小-最大方法更优的轮次复杂度？
• RQ2 在Polyak-Lojasiewicz（PL）条件下，该方法的样本复杂度表现如何？
• RQ3 该方法能否有效应用于DRO之外的随机复合问题？
• RQ4 在在线设置中，该方法是否能在中等规模小批量下保持效率和可扩展性？
• RQ5 该方法在PL条件下具有怎样的理论收敛行为？

主要发现

• 所提方法在Polyak-Lojasiewicz（PL）条件下，为深度DRO实现了最优样本复杂度。
• 与现有求解DRO最小-最大或最小化公式的算法相比，该方法表现出更优的轮次复杂度。
• 该方法避免了高维对偶变量带来的计算负担，提升了效率。
• 由于其无对偶性和随机特性，该方法与在线学习兼容。
• 该方法可扩展用于求解一类随机复合问题。
• 理论分析证实，该方法在中等规模小批量下具有收敛性，支持实际部署。