[论文解读] Towards Optimal Transport with Global Invariances

David Alvarez-Melis, Stefanie Jegelka+1 more|arXiv (Cornell University)|Jun 25, 2018

Transportation Planning and Optimization被引用 21

一句话总结

本文提出了一种离散最优传输的新型公式，联合优化传输耦合与全局变换（如旋转、反射），以处理对这些变换不变的表示。通过将不变性直接嵌入OT目标函数，该方法在无监督词翻译任务中实现了最先进性能，且计算成本显著低于对抗性方法。

ABSTRACT

Many problems in machine learning involve calculating correspondences between sets of objects, such as point clouds or images. Discrete optimal transport provides a natural and successful approach to such tasks whenever the two sets of objects can be represented in the same space, or at least distances between them can be directly evaluated. Unfortunately neither requirement is likely to hold when object representations are learned from data. Indeed, automatically derived representations such as word embeddings are typically fixed only up to some global transformations, for example, reflection or rotation. As a result, pairwise distances across two such instances are ill-defined without specifying their relative transformation. In this work, we propose a general framework for optimal transport in the presence of latent global transformations. We cast the problem as a joint optimization over transport couplings and transformations chosen from a flexible class of invariances, propose algorithms to solve it, and show promising results in various tasks, including a popular unsupervised word translation benchmark.

研究动机与目标

• 许多学习到的表示（如词嵌入）对全局变换（如旋转或反射）具有不变性，导致标准最优传输因成对距离定义不明确而不可行。
• 现有方法要么假设已知变换，要么依赖复杂且难以调优的神经网络映射，这些方法对初始化敏感且易过拟合。
• 核心问题是：在统一的、可微的优化框架中，联合学习最优传输耦合与潜在的全局变换。
• 目标是构建一种原理性强、凸优化、高效的方法，在保持几何保真度的同时，对表示层面的不变性具有鲁棒性。
• 该方法旨在将现有技术（如Procrustes对齐和Gromov-Wasserstein距离）统一于单一优化框架之下。

提出的方法

• 该框架将最优传输表述为在传输计划（耦合）和来自灵活全局不变性类（如正交群或旋转群）的变换矩阵上的联合优化。
• 它引入了一个正则化目标函数，同时包含传输成本和对变换的惩罚或约束，以确保对指定群作用的不变性。
• 为实现高效优化，该方法采用凸性退火方案，平稳引导解趋向全局最优，降低对初始化的敏感性。
• 该算法在Sinkhorn迭代（用于传输计划）与基于梯度的变换矩阵更新之间交替进行，实现可扩展计算。
• 该方法可推广至多种不变性类型，包括正交、旋转和反射，并可专门化为在正交矩阵上最小化Frobenius范数的情形。
• 它支持确定性和正则化两种公式，后者可实现平滑收敛并基于无监督目标实现早停。

实验结果

研究问题

• RQ1 最优传输能否被推广以处理对全局变换（如旋转或反射）不变的表示？
• RQ2 如何使传输耦合与潜在变换的联合优化在变换未知时仍高效且鲁棒？
• RQ3 将不变性直接嵌入OT目标是否能带来优于迭代或对抗性替代方法的对齐性能？
• RQ4 该框架能否将现有方法（如Procrustes对齐和Gromov-Wasserstein距离）统一于单一优化框架之下？
• RQ5 该方法在准确率上是否能与最先进无监督词翻译基线方法相媲美，同时计算效率显著更高？

主要发现

• 所提方法在五个语言对（包括英-西、英-法、英-意、英-德、英-俄）上的无监督词翻译任务中，性能与最先进方法相当。
• 其翻译准确率优于或匹配Adv和基于Wasserstein的方法，同时计算成本仅为后者的极小部分。
• 优化目标与翻译准确率高度相关，可在无需真实标签的情况下实现可靠的模型选择与早停。
• 该方法表现出稳定的收敛动态，与对抗性训练基线相比，过拟合导致性能退化的风险极低。
• 该框架揭示了与Gromov-Wasserstein距离的联系，并通过将不变性嵌入核心优化过程，推广了先前基于Procrustes的方法。
• 该方法对初始化鲁棒，无需复杂后处理或对抗性精炼步骤。