[论文解读] Fused Gromov-Wasserstein distance for structured objects: theoretical foundations and mathematical properties

Titouan Vayer, Laëtitia Chapel+3 more|arXiv (Cornell University)|Nov 7, 2018

Markov Chains and Monte Carlo Methods参考文献 30被引用 22

一句话总结

本文提出了融合格罗莫夫-沃瑟斯坦（Fused Gromov-Wasserstein, FGW）距离，这是一种新颖的最优传输度量，通过凸权衡结合 Wasserstein 与 Gromov-Wasserstein 距离，联合建模结构化对象中的特征与结构信息。主要贡献在于建立了严谨的理论框架，证明了 FGW 具备度量性、插值性、测地线性及集中性等性质，并将其应用于图的质心计算与网格插值。

ABSTRACT

Optimal transport theory has recently found many applications in machine learning thanks to its capacity for comparing various machine learning objects considered as distributions. The Kantorovitch formulation, leading to the Wasserstein distance, focuses on the features of the elements of the objects but treat them independently, whereas the Gromov-Wasserstein distance focuses only on the relations between the elements, depicting the structure of the object, yet discarding its features. In this paper we propose to extend these distances in order to encode simultaneously both the feature and structure informations, resulting in the Fused Gromov-Wasserstein distance. We develop the mathematical framework for this novel distance, prove its metric and interpolation properties and provide a concentration result for the convergence of finite samples. We also illustrate and interpret its use in various contexts where structured objects are involved.

研究动机与目标

• 开发一种统一的最优传输框架，同时编码结构化对象中的特征与结构信息。
• 在一般测度论设定下，建立融合格罗莫夫-沃瑟斯坦（FGW）距离的理论基础。
• 证明 FGW 满足关键数学性质，如度量性、在 Wasserstein 与 Gromov-Wasserstein 距离之间的插值性，以及恒定速度测地线。
• 提供一个集中不等式，确保 FGW 在有限样本估计下的收敛性。
• 展示 FGW 在结构化数据实际应用中的有效性，如图的质心计算与网格插值。

提出的方法

• 将结构化对象形式化为特征空间与结构空间上的联合概率测度，从而实现对属性与关系结构的联合建模。
• 将 FGW 距离定义为 Wasserstein 与 Gromov-Wasserstein 成本的凸组合，由权衡系数 α ∈ (0,1) 参数化。
• 通过在概率测度之间的耦合上最小化联合代价函数，以最优传输形式建立 FGW 距离。
• 证明在适当条件下，FGW 距离在结构化对象空间上构成一个度量，包括对称性、不可区分物同一性及三角不等式。
• 证明当 α 从 1 变化到 0 时，FGW 距离连续插值于 Wasserstein 与 Gromov-Wasserstein 距离之间。
• 利用最优耦合构造结构化对象之间的恒定速度测地线，并证明其唯一性及与底层度量结构的等价性。

实验结果

研究问题

• RQ1 能否构造一个单一的最优传输距离，以联合建模结构化对象中的特征与结构信息？
• RQ2 融合格罗莫夫-沃瑟斯坦距离是否满足结构化概率测度空间上度量的公理？
• RQ3 当权衡参数 α 变化时，FGW 距离如何在 Wasserstein 与 Gromov-Wasserstein 距离之间实现插值？
• RQ4 在给定度量下，FGW 框架中的测地线是否为恒定速度且唯一？
• RQ5 FGW 距离在有限样本估计下的集中行为如何？

主要发现

• 已证明融合格罗莫夫-沃瑟斯坦距离是结构化对象空间上的有效度量，满足对称性、不可区分物同一性及三角不等式。
• 当权衡参数 α 从 1 变化到 0 时，FGW 距离在 Wasserstein 与 Gromov-Wasserstein 距离之间实现连续插值，完整插值范围通过测地线分析得以确立。
• 在 FGW 度量下，任意两个结构化对象之间均存在恒定速度测地线，且在适度正则性条件下具有唯一性。
• 两个结构化对象之间的测地线路径等价于最优传输计划下的推送耦合，从而将几何结构与最优耦合联系起来。
• 推导出一个集中不等式，确保经验 FGW 距离以依赖于样本大小与底层空间复杂度的速率收敛到真实距离。
• FGW 框架可有效计算结构化最优传输质心，已在图聚类与三维网格插值任务中得到验证。