[论文解读] Continuous Wasserstein-2 Barycenter Estimation without Minimax Optimization

Alexander Korotin, Lingxiao Li+2 more|arXiv (Cornell University)|Feb 2, 2021

Geometric Analysis and Curvature Flows参考文献 31被引用 10

一句话总结

该论文提出了一种可扩展的、无需极小化极大优化（minimax-free）的算法，用于使用输入凸神经网络（input convex neural networks）和循环一致性正则化（cycle-consistency regularization）计算连续的Wasserstein-2均值，避免了由熵正则化或二次正则化带来的偏差。该方法在低维定性任务和高维贝叶斯后验聚合任务中均实现了最先进性能，实证结果表明其在均值近似精度方面有显著提升。

ABSTRACT

Wasserstein barycenters provide a geometric notion of the weighted average of probability measures based on optimal transport. In this paper, we present a scalable algorithm to compute Wasserstein-2 barycenters given sample access to the input measures, which are not restricted to being discrete. While past approaches rely on entropic or quadratic regularization, we employ input convex neural networks and cycle-consistency regularization to avoid introducing bias. As a result, our approach does not resort to minimax optimization. We provide theoretical analysis on error bounds as well as empirical evidence of the effectiveness of the proposed approach in low-dimensional qualitative scenarios and high-dimensional quantitative experiments.

研究动机与目标

• 开发一种可扩展的、无偏差的连续概率测度Wasserstein-2均值计算方法。
• 避免使用极小化极大优化，该方法在先前方法中常见，但可能导致训练不稳定。
• 通过采用输入凸神经网络和循环一致性正则化，消除正则化引入的偏差。
• 即使在高维设置下，也能仅通过输入测度的样本访问实现准确的均值估计。
• 提供理论误差界，并在包括图像色彩调色板平均和贝叶斯后验聚合在内的多样化应用中进行实证验证。

提出的方法

• 使用输入凸神经网络（ICNNs）参数化Wasserstein-2均值公式中的对偶势函数，确保其凸性与可微性。
• 引入一种新颖的相容性正则化项，结合循环一致性正则化，以稳定训练并提升收敛性。
• 利用Wasserstein-2距离的对偶形式，将均值问题表述为对凸势函数的最小化问题。
• 通过学习势函数的梯度（即∇ψ）对输入测度进行前向映射（pushforwards），生成均值近似。
• 利用Wasserstein-2设置下最优传输映射为凸势函数梯度的特性，实现几何上有意义的插值。
• 采用端到端的随机优化方法进行模型训练，无需极小化极大训练或额外正则化。

实验结果

研究问题

• RQ1 无极小化极大优化的方法是否能实现无正则化偏差的连续Wasserstein-2均值估计？
• RQ2 在高维设置下，结合循环一致性正则化的输入凸神经网络在近似真实均值方面表现如何？
• RQ3 在真实数据（如子集后验分布）上，该方法是否在均值近似误差方面优于现有方法？
• RQ4 该方法在图像处理中能否有效实现色彩调色板平均，同时保持视觉语义？
• RQ5 该方法在近似质量与收敛性方面的理论误差界是什么？

主要发现

• 在子集后验聚合任务中，该方法在泊松回归中实现了0.10%的B W₂²-UVP，在负二项回归中实现了0.11%，优于先前方法。
• 在色彩调色板平均任务中，该方法成功生成了融合源图像属性的图像，如更蓝的天空和更绿的树木，展示了有效的几何插值能力。
• 在均匀分布的合成数据上，该方法实现了1.45%的B W₂²-UVP，显著优于次优方法的1.83%。
• 该方法在低维定性任务与高维定量实验中均表现出稳健性能，证实了其可扩展性与准确性。
• 理论分析表明，学习到的凸势函数的梯度能有效将输入分布推向真实均值，确保收敛性。
• 由于无需极小化极大优化和正则化偏差，与先前方法相比，该方法实现了更准确、更稳定的均值估计。