[论文解读] Finite-Sample Guarantees for Wasserstein Distributionally Robust Optimization: Breaking the Curse of Dimensionality

Rui Gao|arXiv (Cornell University)|Sep 9, 2020

Risk and Portfolio Optimization被引用 4

一句话总结

该论文首次为Wasserstein分布鲁棒优化（DRO）建立了有限样本性能保证，且不受维度灾难的影响。通过引入一种新颖的集中不等式以及基于损失变化的局部Rademacher复杂度，证明了Wasserstein DRO可通过合理选择半径，在经验损失与损失正则化之间实现平衡，从而在高维设置下确保鲁棒泛化。

ABSTRACT

Wasserstein distributionally robust optimization (DRO) aims to find robust and generalizable solutions by hedging against data perturbations in Wasserstein distance. Despite its recent empirical success in operations research and machine learning, existing performance guarantees for generic loss functions are either overly conservative due to the curse of dimensionality, or plausible only in large sample asymptotics. In this paper, we develop a non-asymptotic framework for analyzing the out-of-sample performance for Wasserstein robust learning and the generalization bound for its related Lipschitz and gradient regularization problems. To the best of our knowledge, this gives the first finite-sample guarantee for generic Wasserstein DRO problems without suffering from the curse of dimensionality. Our results highlight that Wasserstein DRO, with a properly chosen radius, balances between the empirical mean of the loss and the variation of the loss, measured by the Lipschitz norm or the gradient norm of the loss. Our analysis is based on two novel methodological developments that are of independent interest: 1) a new concentration inequality controlling the decay rate of large deviation probabilities by the variation of the loss and, 2) a localized Rademacher complexity theory based on the variation of the loss.

研究动机与目标

• 解决Wasserstein DRO缺乏有限样本性能保证的问题，且避免因高维性导致的过度保守性。
• 为Wasserstein鲁棒学习中的泛化性能提供非渐近分析框架。
• 建立与Wasserstein DRO相关的Lipschitz和梯度正则化问题的泛化界。
• 通过利用损失变化，打破分布鲁棒优化中的维度灾难。

提出的方法

• 提出一种新的集中不等式，基于损失函数的变化控制大偏差概率。
• 基于损失的Lipschitz或梯度范数，发展一种建立在损失变化之上的局部Rademacher复杂度理论。
• 将Wasserstein DRO表述为经验风险与损失正则化之间的权衡，后者由损失的变化来度量。
• 利用损失的变化定义一种局部复杂度度量，从而提升样本效率。
• 建立有限样本界，其随损失的内在正则性增长，而非随环境维度增长。
• 在损失函数满足弱正则性条件的假设下，推导出与数据维度无关的泛化界。

实验结果

研究问题

• RQ1 能否在不遭受维度灾难影响的前提下，为Wasserstein DRO建立有限样本保证？
• RQ2 Wasserstein半径的选择如何影响经验风险与损失变化之间的平衡？
• RQ3 基于损失变化的新型集中不等式能否改进分布鲁棒学习中的泛化界？
• RQ4 基于损失变化的局部Rademacher复杂度在多大程度上能提升DRO中的样本效率？
• RQ5 在有限样本下，是否可能通过Wasserstein DRO实现在高维设置下的鲁棒泛化？

主要发现

• 该论文首次为通用Wasserstein DRO问题提供了有限样本泛化界，且其性能不会随维度增加而恶化。
• 所提出的集中不等式基于损失变化控制大偏差概率，从而得到更紧致且与维度无关的界。
• 通过损失变化定义的局部Rademacher复杂度，能够反映问题的内在复杂性，从而实现更精确的泛化界。
• 采用最优半径的Wasserstein DRO能有效在经验损失与损失正则化之间权衡，后者由Lipschitz或梯度范数度量。
• 该框架在高维设置下确保了鲁棒性与泛化能力，打破了传统DRO中的维度灾难。
• 理论结果通过非渐近分析得到验证，其在有限样本和任意数据分布下均成立。