[论文解读] Cycle Consistent Probability Divergences Across Different Spaces

Zhengxin Zhang, Youssef Mroueh+2 more|arXiv (Cornell University)|Nov 22, 2021

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 4

一句话总结

本文提出了非平衡双向Gromov-Monge（UBGM）散度，这是一种用于不同度量空间上概率分布的新型差异度量，通过两个前向映射强制实现循环一致且保等距的映射。该方法将UBGM核化为广义最大均值差异（GMMD），证明了收敛速率，并展示了对未见数据的泛化能力，从而为循环GAN提供了理论基础，并实现了跨异质空间的高效、可扩展匹配。

ABSTRACT

Discrepancy measures between probability distributions are at the core of statistical inference and machine learning. In many applications, distributions of interest are supported on different spaces, and yet a meaningful correspondence between data points is desired. Motivated to explicitly encode consistent bidirectional maps into the discrepancy measure, this work proposes a novel unbalanced Monge optimal transport formulation for matching, up to isometries, distributions on different spaces. Our formulation arises as a principled relaxation of the Gromov-Haussdroff distance between metric spaces, and employs two cycle-consistent maps that push forward each distribution onto the other. We study structural properties of the proposed discrepancy and, in particular, show that it captures the popular cycle-consistent generative adversarial network (GAN) framework as a special case, thereby providing the theory to explain it. Motivated by computational efficiency, we then kernelize the discrepancy and restrict the mappings to parametric function classes. The resulting kernelized version is coined the generalized maximum mean discrepancy (GMMD). Convergence rates for empirical estimation of GMMD are studied and experiments to support our theory are provided.

研究动机与目标

• 解决定义在不同且不兼容度量空间上的概率分布之间差异度量的挑战。
• 开发一种计算高效、可泛化的差异度量，显式编码数据点之间的双向一致映射。
• 通过将循环一致映射形式化为合理的最优传输公式，为循环GAN提供理论框架。
• 对差异度量进行核化，以适用于参数化模型（如神经网络），实现可扩展的估计。
• 在核函数和函数类的正则性条件下，建立GMMD经验估计的收敛速率，并在未见数据上验证泛化能力。

提出的方法

• 提出非平衡双向Gromov-Monge（UBGM）散度，作为Gromov-Hausdorff距离的松弛形式，利用两个循环一致映射将每个分布映射到另一空间。
• 通过要求两个映射的复合近似保持度量结构，强制实现循环一致性，确保对应关系的一致性。
• 将映射限制在参数化函数类（如神经网络）中，并对UBGM进行核化，推导出广义最大均值差异（GMMD）。
• 在核函数和函数类的标准正则性条件下，推导出GMMD两样本经验估计的收敛速率。
• 采用近似推理：在数据子集上进行训练，并在未见数据点上评估学习到的映射，以评估泛化能力。
• 使用边际MMD和差异度量Δ，对测试数据上前向映射的质量进行定量评估。

实验结果

研究问题

• RQ1 能否构建一种合理的差异度量，显式编码不同度量空间上分布之间的双向、循环一致映射？
• RQ2 如何对Gromov-Wasserstein距离进行松弛，以实现高效计算并泛化到新数据点？
• RQ3 在仅用有限数据集进行训练后，所提出的GMMD框架在多大程度上能泛化到未见数据？
• RQ4 在标准光滑性和核函数假设下，经验GMMD估计的理论收敛速率是多少？
• RQ5 所提出的框架与实际中循环GAN的成功之间有何关联，能否解释其成功原因？

主要发现

• 所提出的GMMD框架在未见数据上成功实现泛化，训练仅使用4000个样本后，在8000个保留测试点上，边际MMD值极低（如<0.002），Δ值也极小（如<0.1）。
• 在心脏和嵌入心脏数据集上，GMMD在λ=0.064时达到0.00711的GMMD值，且MMD_X和MMD_Y均低于0.002，表明边际匹配性能极强。
• 在近似实验中，所有测试的λ值下，差异度量Δ均保持在0.1以下，证实了学习到的映射具有鲁棒性和一致性。
• 在标准假设下，建立了经验GMMD估计的收敛速率，支持可靠的统计推断。
• UBGM散度被证明可推广循环GAN框架，为其实验成功提供了理论解释。
• 实验结果证实，核化后的GMMD版本能够实现跨不同空间的高效、可扩展匹配，具备强泛化能力且计算成本低。