[论文解读] Confidence Regions in Wasserstein Distributionally Robust Estimation

José Blanchet, Karthyek Murthy+1 more|arXiv (Cornell University)|Jun 4, 2019

Risk and Portfolio Optimization参考文献 14被引用 10

一句话总结

本文建立了Wasserstein分布鲁棒估计量的渐近正态性，并在最小-最大鲁棒优化框架下推导出最优置信区域。它表明这些估计量基于损失函数的导数进行正则化，并在一般条件下证明了最小-最大与最大-最小公式之间的等价性，为考虑分布不确定性时的鲁棒学习提供了频率学基础。

ABSTRACT

Wasserstein distributionally robust optimization estimators are obtained as solutions of min-max problems in which the statistician selects a parameter minimizing the worst-case loss among all probability models within a certain distance (in a Wasserstein sense) from the underlying empirical measure. While motivated by the need to identify optimal model parameters or decision choices that are robust to model misspecification, these distributionally robust estimators recover a wide range of regularized estimators, including square-root lasso and support vector machines, among others, as particular cases. This paper studies the asymptotic normality of these distributionally robust estimators as well as the properties of an optimal (in a suitable sense) confidence region induced by the Wasserstein distributionally robust optimization formulation. In addition, key properties of min-max distributionally robust optimization problems are also studied, for example, we show that distributionally robust estimators regularize the loss based on its derivative and we also derive general sufficient conditions which show the equivalence between the min-max distributionally robust optimization problem and the corresponding max-min formulation.

研究动机与目标

• 建立基于Wasserstein模糊集的分布鲁棒估计量的渐近正态性。
• 在分布鲁棒优化框架下，刻画在频率学意义上最优的置信区域的性质。
• 研究最小-最大分布鲁棒优化问题的结构性质，包括最小-最大与最大-最小公式的等价性。
• 表明分布鲁棒估计量基于损失函数的导数隐式地对损失函数进行正则化。
• 为考虑模型误设的鲁棒统计估计提供理论基础，通过Wasserstein距离约束实现。

提出的方法

• 将分布鲁棒估计量表述为一个最小-最大问题：在经验测度周围半径为δ的Wasserstein球内，对所有概率分布最小化最坏情况下的期望损失。
• 使用二阶Wasserstein距离定义模糊集，确保对经验分布的小扰动具有鲁棒性。
• 应用一阶展开和鞅中心极限定理技术，推导估计量的渐近分布。
• 在温和的正则性条件下（包括损失函数及其导数的连续性和有界性），建立最小-最大与最大-最小公式的等价性。
• 推导归一化估计量的极限随机过程，并利用一致有界性和连续性论证证明依分布收敛。
• 使用浓度不等式和大数定律控制经验过程的行为，确保一致收敛。

实验结果

研究问题

• RQ1 在何种条件下，Wasserstein分布鲁棒估计量是渐近正态的？
• RQ2 由分布鲁棒优化公式诱导的最优置信区域具有何种结构？
• RQ3 分布鲁棒估计量如何对损失函数进行正则化，损失函数的导数在该正则化中起什么作用？
• RQ4 在何种条件下，最小-最大分布鲁棒优化问题与其最大-最小对偶问题等价？
• RQ5 在分布不确定性下，经验风险最小化估计量的有限样本与渐近性质是什么？

主要发现

• 在正则性条件下，Wasserstein分布鲁棒估计量是渐近正态的，极限分布以真实参数为中心，且按费舍尔信息矩阵的逆进行缩放。
• 由分布鲁棒公式诱导的最优置信区域在渐近意义上等价于基于经验风险最小化器的标准置信区域，但具有鲁棒的方差-协方差调整。
• 分布鲁棒估计量基于损失函数梯度的L2范数隐式地对损失函数进行正则化，即正则化项与损失函数导数的期望平方范数成正比。
• 在温和条件下（包括损失函数及其导数的连续性，以及扰动集的有界性），最小-最大问题与最大-最小问题等价。
• 归一化估计量的极限过程依分布收敛于一个高斯过程，且在紧致参数集上一致收敛。
• 由鲁棒公式推导出的置信区域对模型误设具有鲁棒性，并在真实分布的局部扰动下保持覆盖概率。