[论文解读] First-order Conditions for Optimization in the Wasserstein Space

Nicolas Lanzetti, Saverio Bolognani+1 more|arXiv (Cornell University)|Sep 25, 2022

Risk and Portfolio Optimization被引用 6

一句话总结

该论文通过利用最优传输几何与变分法，建立了 Wasserstein 空间中约束优化的一阶最优性条件。研究表明，诸如‘令梯度为零’和‘最优时梯度对齐’等经典原理可推广至 Wasserstein 度量下的概率测度，从而在分布鲁棒优化与涉及均值-方差、KL 散度及 Wasserstein 距离的统计推断问题中实现闭式解。

ABSTRACT

We study first-order optimality conditions for constrained optimization in the Wasserstein space, whereby one seeks to minimize a real-valued function over the space of probability measures endowed with the Wasserstein distance. Our analysis combines recent insights on the geometry and the differential structure of the Wasserstein space with more classical calculus of variations. We show that simple rationales such as "setting the derivative to zero" and "gradients are aligned at optimality" carry over to the Wasserstein space. We deploy our tools to study and solve optimization problems in the setting of distributionally robust optimization and statistical inference. The generality of our methodology allows us to naturally deal with functionals, such as mean-variance, Kullback-Leibler divergence, and Wasserstein distance, which are traditionally difficult to study in a unified framework.

研究动机与目标

• 为 Wasserstein 空间中概率测度上的约束优化建立一阶最优性条件。
• 在统一框架下统一分析均值-方差、KL 散度与 Wasserstein 距离等泛函。
• 将经典变分法推广至 Wasserstein 空间的非线性度量结构。
• 通过最优传输建立概率空间优化的几何与微分基础。
• 在分布鲁棒优化与统计推断问题中实现闭式解。

提出的方法

• 利用最优传输映射及其前推，形式化 Wasserstein 空间的微分结构。
• 结合变分法与 Wasserstein 空间几何，推导一阶必要与充分条件。
• 通过梯度流与广义测地线刻画最优性，强调梯度对齐。
• 将理论应用于求解涉及 Wasserstein 球与 KL 散度约束的约束优化问题。
• 采用最小熵传输映射，推导特定分布类（如高斯分布）的闭式解。
• 通过 Wasserstein 空间中广义测地线上 KL 散度的凸性，建立唯一性与最优性。

实验结果

研究问题

• RQ1 能否将‘令梯度为零’等经典一阶最优性原理推广至 Wasserstein 空间中的概率测度优化？
• RQ2 如何利用 Wasserstein 空间的微分结构推导最优性的必要与充分条件？
• RQ3 均值-方差、KL 散度与 Wasserstein 距离等泛函在多大程度上可被统一于同一优化框架下？
• RQ4 能否为具有 Wasserstein 模糊集的分布鲁棒优化问题推导出闭式解？
• RQ5 最优传输映射及其逆映射在刻画约束优化中最优测度时起何作用？

主要发现

• Wasserstein 空间中的一阶最优性条件推广了经典原理：‘令梯度为零’与‘最优时梯度对齐’在该几何设定下依然成立。
• Wasserstein 球约束问题中的最优测度由涉及原问题与对偶变量的方程组解所导出的传输映射刻画。
• 对于高斯分布，可通过涉及均值与协方差的矩阵方程，以闭式计算具有 Wasserstein 模糊集的分布鲁棒优化问题的最优解。
• KL 散度沿 Wasserstein 空间中广义测地线的凸性，保证了唯一最优解的存在性。
• 两个高斯分布之间最小熵传输问题的解对应于一个线性变换，通过特定矩阵表达式（涉及移位精度矩阵的逆）实现均值与协方差的对齐。
• 建立了一种数值求根方法，用于求解拉格朗日乘子 λ∗，通过求解在负实轴上变号的连续函数 f(λ)，确保满足 Wasserstein 距离约束。