[论文解读] Flow-based Alignment Approaches for Probability Measures in Different Spaces

Tam Le, Nhat Ho+1 more|arXiv (Cornell University)|Oct 10, 2019

Generative Adversarial Networks and Image Synthesis参考文献 64被引用 4

一句话总结

本文提出 FlowAlign 和 DepthAlign，一种通过利用树状结构流而非成对距离来比较不同度量空间中概率测度的新颖差异度量。通过将流从根节点对齐至每个支撑点，该方法实现了类似单变量最优传输的快速、可扩展计算，具备伪距离的理论保证，并在基准任务中展现出对基线方法的实证优越性。

ABSTRACT

Gromov-Wasserstein (GW) is a powerful tool to compare probability measures whose supports are in different metric spaces. GW suffers however from a computational drawback since it requires to solve a complex non-convex quadratic program. We consider in this work a specific family of cost metrics, namely extit{tree metrics} for a space of supports of each probability measure, and aim for developing efficient and scalable discrepancies between the probability measures. By leveraging a tree structure, we propose to align extit{flows} from a root to each support instead of pair-wise tree metrics of supports, i.e., flows from a support to another, in GW. Consequently, we propose a novel discrepancy, named Flow-based Alignment (\FlowAlign), by matching the flows of the probability measures. We show that \FlowAlign~shares a similar structure as a univariate optimal transport distance. Therefore, \FlowAlign~is fast for computation and scalable for large-scale applications. By further exploring tree structures, we propose a variant of \FlowAlign, named Depth-based Alignment (\DepthAlign), by aligning the flows hierarchically along each depth level of the tree structures. Theoretically, we prove that both \FlowAlign~and \DepthAlign~are pseudo-distances. Moreover, we also derive tree-sliced variants, computed by averaging the corresponding \FlowAlign~/ \DepthAlign~using random tree metrics, built adaptively in spaces of supports. Empirically, we test our proposed discrepancies against other baselines on some benchmark tasks.

研究动机与目标

• 解决由于 Gromov-Wasserstein (GW) 距离具有非凸二次规划性质，在大规模场景下计算效率低下的问题。
• 在支撑点位于不同度量空间时，开发可扩展且高效的差异度量以比较概率测度。
• 利用支撑点空间上的树度量，实现快速计算的同时保留结构信息。
• 通过将流从根节点对齐至每个支撑点，提出 FlowAlign，避免昂贵的成对比较。
• 将方法扩展至 DepthAlign，实现树结构中逐层深度的流对齐，并推导出树切片变体以增强鲁棒性。

提出的方法

• 在概率测度的支撑点上定义树度量，以实现高效计算。
• 通过建模从根节点到每个支撑点的流，提出 FlowAlign，减少 GW 中的成对比较。
• 将 FlowAlign 建模为类似单变量最优传输的问题，从而支持快速 Sinkhorn 风格计算。
• 通过在树结构的每一层深度上分层对齐流，提出 DepthAlign。
• 通过在多个随机采样的树度量上对 FlowAlign 和 DepthAlign 取平均，推导出树切片变体。
• 采用自适应树度量采样（如基于聚类的方法）构建稳定且信息丰富的树结构。

实验结果

研究问题

• RQ1 基于树状结构支撑点的流对齐能否为在不同空间中比较概率测度提供一种可扩展的替代 Gromov-Wasserstein 的方法？
• RQ2 从根节点到每个支撑点的流对齐是否能在降低计算复杂度的同时保留结构信息？
• RQ3 分层深度对齐（DepthAlign）是否相比基于流的对齐能提升对齐精度？
• RQ4 FlowAlign 和 DepthAlign 的树切片变体在实际应用中相较于现有基线表现如何？
• RQ5 FlowAlign、DepthAlign 与其他差异度量（如切片 GW 和熵正则 GW）之间的经验关系如何？

主要发现

• FlowAlign 和 DepthAlign 被证明是伪距离，满足对称性与三角不等式。
• 由于其结构相似性，FlowAlign 的计算速度可与单变量最优传输相媲美。
• FlowAlign 和 DepthAlign 的树切片变体在多种数据集（包括高维数据集）上表现出稳健性能。
• 实证结果表明，FlowAlign 和 DepthAlign 在基准任务中优于或至少匹配基线方法（如切片 GW 和熵正则 GW）。
• 在高维数据集（如 TWITTER、CLASSIC、AMAZON）上，FlowAlign 和 DepthAlign 在捕捉结构方面优于切片 GW 中使用的一维投影方法。
• 实证关系显示，FlowAlign/DepthAlign 与熵正则 GW 变体之间的相关性较弱，表明其行为不同，可能在捕捉复杂结构方面具有潜在优势。