[论文解读] Large-Scale Methods for Distributionally Robust Optimization

Daniel Lévy, Yair Carmon+2 more|arXiv (Cornell University)|Oct 12, 2020

Risk and Portfolio Optimization参考文献 60被引用 37

一句话总结

该论文开发了用于分布式鲁棒优化（DRO）的可扩展随机梯度方法，针对 CVaR 与 chi-squared 不确定性集合，实现梯度评估的复杂度与训练规模和参数数量无关，并引入多层次Monte Carlo梯度估计以提升效率。

ABSTRACT

We propose and analyze algorithms for distributionally robust optimization of convex losses with conditional value at risk (CVaR) and $χ^2$ divergence uncertainty sets. We prove that our algorithms require a number of gradient evaluations independent of training set size and number of parameters, making them suitable for large-scale applications. For $χ^2$ uncertainty sets these are the first such guarantees in the literature, and for CVaR our guarantees scale linearly in the uncertainty level rather than quadratically as in previous work. We also provide lower bounds proving the worst-case optimality of our algorithms for CVaR and a penalized version of the $χ^2$ problem. Our primary technical contributions are novel bounds on the bias of batch robust risk estimation and the variance of a multilevel Monte Carlo gradient estimator due to [Blanchet & Glynn, 2015]. Experiments on MNIST and ImageNet confirm the theoretical scaling of our algorithms, which are 9--36 times more efficient than full-batch methods.

研究动机与目标

• 解决在机器学习和高风险决策场景中对可扩展的分布式鲁棒优化（DRO）的需求。
• 为 CVaR 和 chi-squared（包括带惩罚项的）不确定性集合开发基于梯度的算法，使其不随 N 或 d 而扩展。
• 提供梯度估计量的偏差和方差的理论保证并建立最优复杂度界限。
• 在如 MNIST 和 ImageNet 等大规模数据集上展示相较全批量方法的实际改进。

提出的方法

• 为 CVaR 和 chi-squared 发散度（受限变体与带惩罚项的变体）建立 DRO 目标。
• 使用基于小批量的梯度估计器，对替代目标给出偏差界，并对梯度给出方差界。
• 应用 Nesterov 加速以利用方差界并提高收敛性。
• 引入多层次 Monte Carlo (MLMC) 梯度估计器，以在批量大小的对数样本复杂度下得到无偏梯度估计。
• 提供对偶与原-对偶形式以实现可处理的优化和复杂性分析。

实验结果

研究问题

• RQ1 是否可以在梯度评估不依赖于训练集大小 N 或参数数量 d 的情况下优化包含 CVaR 与 chi-squared 不确定性集合的 DRO 目标？
• RQ2 这些 DRO 目标的小批量和 MLMC 梯度估计量的偏差和方差性质是什么？
• RQ3 在 CVaR 和 chi-squared 目标下达到 epsilon-最优解的结果的 oracle 复杂度速率是多少？
• RQ4 所提出的方法在实际应用中是否对大型数据集（如 MNIST、ImageNet）可扩展，并且是否优于全批量方法？

主要发现

• 提出的梯度方法在 CVaR 和 chi-squared DRO 目标下实现了梯度评估复杂度与 N 和 d 无关。
• 为小批量估计量建立偏差界：CVaR 的 O(1/√n)，chi-squared 带惩罚目标为 O(1/n)，在对 inverse-CDF 的 Lipschitz 假设下为 O(1/n)。
• 证明对 chi-squared 有界目标，小批量梯度估计量的方差随 O(1/n) 减小，从而使优化更高效。
• MLMC 梯度估计器提供无偏梯度估计，样本需求为对数数量级，提升相较于天真小批量估计的效率。
• 在 MNIST/ImageNet 上的实证结果显示相比全批量方法，梯度评估次数减少 9–36 倍，同时保持或提升鲁棒性。