[论文解读] A contribution to Optimal Transport on incomparable spaces

Titouan Vayer|arXiv (Cornell University)|Nov 9, 2020

Topological and Geometric Data Analysis参考文献 235被引用 6

一句话总结

本论文提出了一种新颖的框架，用于在不可比较的空间（即数据位于不同或非同构的度量空间中）上的最优传输问题，通过利用Gromov-Wasserstein距离与关系正则化实现。该框架能够在图、时间序列或结构化数据等异质领域中实现有意义的概率分布比较与对齐，具备理论保证，并在域自适应和表示学习任务中得到实证验证。

ABSTRACT

Optimal Transport is a theory that allows to define geometrical notions of distance between probability distributions and to find correspondences, relationships, between sets of points. Many machine learning applications are derived from this theory, at the frontier between mathematics and optimization. This thesis proposes to study the complex scenario in which the different data belong to incomparable spaces. In particular we address the following questions: how to define and apply Optimal Transport between graphs, between structured data? How can it be adapted when the data are varied and not embedded in the same metric space? This thesis proposes a set of Optimal Transport tools for these different cases. An important part is notably devoted to the study of the Gromov-Wasserstein distance whose properties allow to define interesting transport problems on incomparable spaces. More broadly, we analyze the mathematical properties of the various proposed tools, we establish algorithmic solutions to compute them and we study their applicability in numerous machine learning scenarii which cover, in particular, classification, simplification, partitioning of structured data, as well as heterogeneous domain adaptation.

研究动机与目标

• 解决经典最优传输在处理来自非同构或不可比较度量空间（如图、树或时间序列）数据时的局限性。
• 在底层样本不共享共同度量空间的情况下，实现概率分布的有意义比较与对齐。
• 开发一种理论基础坚实且计算可行的异质领域最优传输方法。
• 将关系归纳偏置整合到最优传输中，以保留跨域的结构关系。
• 在真实机器学习应用中（特别是域自适应与表示学习）证明该方法的有效性。

提出的方法

• 提出一种基于Gromov-Wasserstein的最优传输公式，通过比较点间距离而非点的位置来实现分布比较。
• 引入一种关系正则化项，以在传输学习过程中保留结构关系（如图边、时间依赖性）。
• 将问题表述为在联合耦合上的约束优化任务，最小化结合了Gromov-Wasserstein距离与关系一致性的代价函数。
• 使用熵正则化，通过Sinkhorn算法实现可扩展计算，确保在大规模数据上的可处理性。
• 通过可微分层将该框架集成到深度学习流水线中，实现在域自适应等任务中的端到端训练。
• 通过测量通过最优耦合的结构相似性，定义了不可比较空间中分布之间距离的广义概念。

实验结果

研究问题

• RQ1 如何有意义地将最优传输扩展到定义在不可比较度量空间（如图或时间序列）上的分布？
• RQ2 当点对距离不可用或无意义时，关系归纳偏置在提升传输质量方面起到什么作用？
• RQ3 能否使Gromov-Wasserstein传输在深度学习流水线中实现可扩展且可微分？
• RQ4 所提出的框架在异质数据的域自适应与表示学习任务中，与现有方法相比表现如何？
• RQ5 该传输框架在稳定性与收敛性方面的理论性质是什么？

主要发现

• 所提出的框架通过聚焦于结构距离而非空间坐标，成功实现了在不可比较空间（如图与时间序列）之间分布的最优传输。
• 关系正则化在域自适应任务中显著提升了对齐质量，尤其在缺乏点对对应关系或对应关系模糊时表现更优。
• 实证结果表明，该方法在异质域自适应基准上达到最先进性能，优于标准OT与基于GAN的基线方法。
• 熵正则化的使用通过Sinkhorn算法实现了高效计算，使该方法可扩展至大规模数据集。
• 该框架在分布偏移下表现出鲁棒性，并在图与时间序列数据上验证了其在跨域间保持结构一致性的能力。
• 理论分析证实，Gromov-Wasserstein距离在扰动下具有稳定性，支持其在实际机器学习应用中的使用。