[论文解读] Estimating Barycenters of Measures in High Dimensions

Samuel N. Cohen, Michael Arbel+1 more|arXiv (Cornell University)|Jul 14, 2020

Markov Chains and Monte Carlo Methods参考文献 39被引用 8

一句话总结

该论文提出了一种生成建模方法，用于在高维空间中估计概率测度的巴氏中心（barycenter），通过使用深度生成模型参数化巴氏中心，而非离散的狄拉克质量（Dirac masses），从而规避了维度灾难。该方法在高维图像数据（如MNIST、CelebA）上实现了可扩展的、结构感知的巴氏中心估计，支持超过10⁴维、多达10⁵个数据点的场景，性能达到当前最先进水平，并在差异函数满足温和光滑性假设的条件下提供了局部收敛性保证。

ABSTRACT

Barycentric averaging is a principled way of summarizing populations of measures. Existing algorithms for estimating barycenters typically parametrize them as weighted sums of Diracs and optimize their weights and/or locations. However, these approaches do not scale to high-dimensional settings due to the curse of dimensionality. In this paper, we propose a scalable and general algorithm for estimating barycenters of measures in high dimensions. The key idea is to turn the optimization over measures into an optimization over generative models, introducing inductive biases that allow the method to scale while still accurately estimating barycenters. We prove local convergence under mild assumptions on the discrepancy showing that the approach is well-posed. We demonstrate that our method is fast, achieves good performance on low-dimensional problems, and scales to high-dimensional settings. In particular, our approach is the first to be used to estimate barycenters in thousands of dimensions.

研究动机与目标

• 为解决巴氏中心估计中的维度灾难问题，该问题限制了传统基于狄拉克质量的方法仅适用于低维空间（例如，R≤3）。
• 实现在高维数据空间（如图像，R>10,000维）中的可扩展巴氏中心估计，而现有方法在该场景下失效。
• 通过参数化生成模型引入归纳偏置（如卷积神经网络结构），提升样本质量和收敛速度。
• 在差异函数满足温和假设的条件下，为所提出的优化框架提供理论收敛性保证。
• 在非合成、高维数据集（如MNIST、CelebA）上验证方法的有效性，涵盖多种差异度量（MMD、SMMD、Sinkhorn）。

提出的方法

• 将巴氏中心参数化为生成模型（如深度卷积神经网络）的输出，而非输入测度加权和的狄拉克质量组合，从而将问题转化为模型参数的优化。
• 通过最小化生成测度与目标巴氏中心（即输入测度的加权和）之间的差异度量（如MMD、Sinkhorn）来优化生成模型参数。
• 使用可微分的差异度量（MMD、优化MMD（SMMD）、Sinkhorn）以在高维空间中实现基于梯度的优化。
• 在生成器中引入结构化归纳偏置（如卷积层），以强制实现全局结构，提升泛化能力与样本质量。
• 在温和假设下证明局部收敛至驻点：差异函数满足Lipschitz光滑性或弱凸性及Lipschitz连续性。
• 利用函数梯度下降与深度核方法，实现在大规模图像数据集（支持高维测度）上的可扩展优化。

实验结果

研究问题

• RQ1 生成模型参数化是否能有效规避高维测度巴氏中心估计中的维度灾难？
• RQ2 在图像空间中，引入归纳偏置（如CNN）如何提升巴氏中心估计的质量与可扩展性？
• RQ3 在一般差异函数下，所提方法是否能实现局部收敛至驻点？其最小假设条件是什么？
• RQ4 该方法能否在非合成、高维数据集（如MNIST、CelebA）上实现扩展，支持超过10⁴维和10⁵个数据点？
• RQ5 在图像数据上，基于MMD、SMMD与Sinkhorn差异度量计算的巴氏中心在行为与视觉质量上如何差异？

主要发现

• 该方法成功在高维图像数据（如MNIST、CelebA）上计算巴氏中心，支持超过10⁴维和10⁵个数据点，达到前所未有的规模下的最先进性能。
• SMMD巴氏中心生成的样本具有语义意义且多样化，能平均跨类别的特征（如MNIST中的所有数字），表现出混合行为而非单纯插值。
• 男性与女性人脸在CelebA上的巴氏中心生成了高质量、逼真的图像，有效融合了两类特征，展示了在高维支撑上的有效泛化能力。
• 对于满足Lipschitz光滑性或弱凸性及Lipschitz连续性的差异函数（包括带深度核的MMD与Sinkhorn），方法实现了对驻点的局部收敛。
• 与无结构、局部参数化相比，采用基于CNN的生成器显著提升了样本质量与收敛速度，尤其在高维场景下优势明显。
• 该方法扩展了GANs的框架，将目标函数推广至多于一个分布（P>1）的情形，并支持灵活的差异度量选择，实现了对多个测度的结构化平均。