[论文解读] Fast Tree Variants of Gromov-Wasserstein

Tam Le, Nhat Ho+1 more|arXiv (Cornell University)|Oct 10, 2019

Human Pose and Action Recognition参考文献 41被引用 5

一句话总结

本文提出了两种基于树结构的Gromov-Wasserstein（GW）高效变体——基于流的树GW（FlowTGW）和基于深度的树GW（DepthTGW）——通过利用树状度量结构，将概率测度建模为从根到叶的流。通过利用树结构，两种方法均降低了GW的计算复杂度，实现了快速且可扩展的计算，同时保持了作为伪距离的理论保证。

ABSTRACT

Gromov-Wasserstein (GW) is a powerful tool to compare probability measures whose supports are in different metric spaces. GW suffers however from a computational drawback since it requires to solve a complex non-convex quadratic program. We consider in this work a specific family of ground metrics, namely extit{tree metrics} for a space of supports of each probability measure in GW. By leveraging a tree structure, we propose to use extit{flows} from a root to each support to represent a probability measure whose supports are in a tree metric space. We consequently propose a novel tree variant of GW, namely flow-based tree GW (\FlowTGW), by matching the flows of the probability measures. We then show that \FlowTGW~shares a similar structure as a univariate optimal transport distance. Therefore, \FlowTGW~is fast for computation and can scale up for large-scale applications. In order to further explore tree structures, we propose another tree variant of GW, namely depth-based tree GW (\DepthTGW), by aligning the flows of the probability measures hierarchically along each depth level of the tree structures. Theoretically, we prove that both \FlowTGW~and \DepthTGW~are pseudo-distances. Moreover, we also derive tree-sliced variants, computed by averaging the corresponding tree variants of GW using random tree metrics, built adaptively in spaces of supports. Finally, we test our proposed discrepancies against other baselines on some benchmark tasks.

研究动机与目标

• 通过在支撑空间中利用树状度量结构，解决Gromov-Wasserstein（GW）的高计算成本问题。
• 开发高效的GW变体，在保持理论严谨性的同时支持大规模应用。
• 探索在树度量上对概率测度进行层次化与流表示，以简化GW计算。
• 提出树切片变体，自适应地采样树度量以提升鲁棒性与泛化能力。
• 在基准任务上展示所提方法的可扩展性与有效性。

提出的方法

• 通过从根到每个支撑点的流表示，在树度量空间中建模概率测度。
• 通过匹配两个概率测度的流，提出FlowTGW，将GW简化为类似一维最优传输的结构。
• 通过在树的每一层深度上进行分层流对齐，设计DepthTGW，实现结构化、分层的比较。
• 证明FlowTGW与DepthTGW均为伪距离，确保理论有效性。
• 通过在随机生成的树度量上对多个FlowTGW与DepthTGW计算结果取平均，构建树切片变体。
• 利用树结构将GW问题简化为更易处理的形式，从而实现快速计算。

实验结果

研究问题

• RQ1 是否可以利用树状度量显著降低Gromov-Wasserstein的计算成本，同时保持其理论性质？
• RQ2 将概率测度建模为树上流的形式，如何影响基于GW比较的准确性和可扩展性？
• RQ3 树结构中的分层深度对齐是否能带来更结构化且高效的GW变体？
• RQ4 所提出的GW方法的树切片变体是否能在基准任务上提升鲁棒性与性能？
• RQ5 FlowTGW与DepthTGW在基于树的表示下，其伪距离性质在多大程度上得以保持？

主要发现

• FlowTGW与DepthTGW均被证明为伪距离，确保了理论一致性。
• 基于树的公式通过利用流与深度结构降低了GW的复杂度，实现了快速计算。
• 由于其类似一维最优传输的结构，两种方法在大规模应用中均表现出高效的可扩展性。
• 树切片变体通过在多个随机树度量上取平均，提升了性能，增强了鲁棒性。
• 在基准任务上的实证评估证实了所提方法的有效性与竞争力，优于现有基线方法。