[论文解读] Ambiguity set and learning via Bregman and Wasserstein

Xin Guo, Johnny Hong+1 more|arXiv (Cornell University)|May 23, 2017

Risk and Portfolio Optimization参考文献 28被引用 4

一句话总结

本文提出了Wasserstein-Bregman散度，这是一种新颖的非对称统计散度，统一了$L_2$-Wasserstein距离与Bregman散度，从而在鲁棒优化和分布学习中实现了更优的模糊集构造。该文建立了Bregman散度的浓度与渐近结果，导出可计算的凸模糊集，并通过分解方法实现通过变换分布与惩罚项的高效优化。

ABSTRACT

Construction of ambiguity set in robust optimization relies on the choice of divergences between probability distributions. In distribution learning, choosing appropriate probability distributions based on observed data is critical for approximating the true distribution. To improve the performance of machine learning models, there has recently been interest in designing objective functions based on Lp-Wasserstein distance rather than the classical Kullback-Leibler (KL) divergence. In this paper, we derive concentration and asymptotic results using Bregman divergence. We propose a novel asymmetric statistical divergence called Wasserstein-Bregman divergence as a generalization of L2-Wasserstein distance. We discuss how these results can be applied to the construction of ambiguity set in robust optimization.

研究动机与目标

• 为解决KL散度在分布比较中的局限性，特别是其在连续分布与经验分布之间未定义的行为，以及无法反映概率质量空间邻近性的问题。
• 提出一种通用框架，利用Bregman散度在分布鲁棒优化中构建模糊集，确保真实分布以高概率被包含在内。
• 提出一种新散度——Wasserstein-Bregman，结合Wasserstein距离的几何特性与Bregman散度的非对称性及分析灵活性，以提升统计与优化性能。
• 提供理论保证，包括在参数设定下，Bregman散度在经验分布与真实分布之间的浓度与渐近结果。

提出的方法

• 通过在凸生成函数$\phi$上施加有界Hessian矩阵与Lipschitz条件，推导出经验离散分布与真实离散分布之间Bregman散度的浓度不等式。
• 建立弱收敛结果，表明$\phi$的Hessian矩阵直接影响参数模型中Bregman散度的渐近行为。
• 提出Wasserstein-Bregman散度$W_{D_\phi}$作为$L_2$-Wasserstein距离的推广，其定义基于运输成本中的Bregman散度。
• 将$W_{D_\phi}(\mathbb{Q}, \mathbb{P}_\theta)$分解为$\mathbb{Q}$与$\mathbb{P}_\theta$的$\nabla\phi$-变换版本之间的平方$L_2$-Wasserstein项，加上一个涉及$\phi$及其梯度期望的惩罚项。
• 利用以经验分布为中心、半径由$M_\phi$与$L_\phi$相关的浓度界导出的Bregman散度球，构建凸模糊集。
• 将该散度用作分布学习中的目标函数，通过将几何运输成本与基于势能的正则化分离的分解实现优化。

实验结果

研究问题

• RQ1 如何利用Bregman散度在数据驱动不确定性下构建统计有效且计算可处理的模糊集？
• RQ2 在参数设定下，经验分布与真实分布之间Bregman散度的浓度与渐近性质是什么？
• RQ3 能否构造一种结合Wasserstein距离与Bregman散度优势的散度，以实现非对称、几何上有意义的分布比较？
• RQ4 凸生成函数$\phi$的选择如何影响所生成散度的信息含量与行为？
• RQ5 所提出的Wasserstein-Bregman散度的结构分解是什么？其如何在分布学习中实现高效优化？

主要发现

• 期望Bregman散度$\mathbb{E}[D_\phi(p, \hat{p}_n)]$有界于$M_\phi \sqrt{d/(4n)}$，其中$M_\phi$为$\phi$梯度的最大范数，$d$为维度。
• 期望Bregman散度$\mathbb{E}[D_\phi(\hat{p}_n, p)]$有界于$M_\phi \sqrt{d/(4n)}$，表明经验分布以高概率集中在真实分布附近。
• 构造的凸模糊集为$\{p : D_\phi(p, \hat{p}_n) \leq M_\phi \sqrt{d/(4n)} + L_\phi (d/(4n)) + \epsilon\}$，确保真实分布以高概率被包含。
• Wasserstein-Bregman散度分解为$W_{D_\phi}(\mathbb{Q}, \mathbb{P}_\theta) = D + P$，其中$D = \frac{1}{2} W_2^2(\mathbb{Q}, \mathbb{P}_\theta \circ (\nabla\phi)^{-1})$，$P$为涉及$\phi$及其梯度期望的惩罚项。
• 当$\phi(x) = \|x\|_2^2$时，Wasserstein-Bregman散度退化为$L_2$-Wasserstein距离，恢复标准情形。
• 所提出的散度具有非对称性，允许比对称度量更细致地比较分布，同时保持有利的优化特性。