[论文解读] Making transport more robust and interpretable by moving data through a small number of anchor points

Chi-Heng Lin, Mehdi Azabou+1 more|arXiv (Cornell University)|Dec 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用 4

一句话总结

本文提出潜在最优传输（LOT），一种结构化最优传输方法，通过学习独立的源域和目标域锚点，提升鲁棒性与可解释性，使数据通过这些枢纽流动。LOT对传输秩进行正则化，降低对噪声和采样变异的敏感性，并增强具有不同底层几何结构的数据集之间的结构对齐。

ABSTRACT

Optimal transport (OT) is a widely used technique for distribution alignment, with applications throughout the machine learning, graphics, and vision communities. Without any additional structural assumptions on trans-port, however, OT can be fragile to outliers or noise, especially in high dimensions. Here, we introduce a new form of structured OT that simultaneously learns low-dimensional structure in data while leveraging this structure to solve the alignment task. Compared with OT, the resulting transport plan has better structural interpretability, highlighting the connections between individual data points and local geometry, and is more robust to noise and sampling. We apply the method to synthetic as well as real datasets, where we show that our method can facilitate alignment in noisy settings and can be used to both correct and interpret domain shift.

研究动机与目标

• 解决标准最优传输（OT）在高维设置下对噪声和异常值的脆弱性。
• 克服先前结构化OT方法依赖源域与目标域共享锚点的局限性，这些方法可能无法捕捉域间差异或不同的数据结构。
• 开发一种联合学习低维数据结构并利用其正则化传输的方法，从而同时提升鲁棒性与可解释性。
• 通过潜在锚点空间突出个体数据点与局部数据几何之间的连接，实现更可解释的传输方案。
• 提供一种理论基础坚实的OT松弛方法，缓解采样需求中的维度灾难问题。

提出的方法

• 将传输方案分解为三个部分：(1) 源点到源锚点，(2) 源锚点到目标锚点，(3) 目标锚点到目标点。
• 为源分布与目标分布分别学习独立的锚点集，允许每个域具有不同的结构表示。
• 通过源锚点与目标锚点之间的潜在空间对齐，建模高层结构相似性，实现稳健的跨域传输。
• 将目标函数表述为基于锚点分解的低秩约束正则化最优传输问题。
• 采用熵正则化（通过Sinkhorn迭代）以确保优化过程的计算效率与数值稳定性。
• 通过三阶段变换估计传输映射：源到锚点、锚点到锚点、锚点到目标，采用基于质心的重构方法。

实验结果

研究问题

• RQ1 为源域与目标域分布分别学习独立锚点，是否能提升最优传输对噪声与采样变异的鲁棒性？
• RQ2 允许使用不同的锚点集，对最终传输方案的可解释性与结构保真度有何影响？
• RQ3 与标准OT相比，LOT在多大程度上降低了OT对高维噪声与异常值的敏感性？
• RQ4 LOT的基于锚点的分解是否在采样效率与缓解维度灾难方面提供统计优势？
• RQ5 LOT能否有效对齐存在域偏移或不同内在结构的数据集，例如在计算机视觉领域自适应任务中？

主要发现

• LOT在高维数据中显著提升了对噪声与采样变异的鲁棒性，已在合成GMM与MNIST-USPS领域自适应任务中得到验证。
• 通过基于锚点的分解，LOT降低了传输方案的秩，起到去噪机制作用并稳定了解决方案。
• 通过为源域与目标域使用独立锚点，LOT更好地捕捉了域偏移与不同的局部几何结构，从而生成更具可解释性的传输映射。
• 在MNIST-USPS领域自适应任务中，LOT实现了SOTA性能，显著优于标准OT与因子耦合（FC）基线方法。
• 锚点数量可通过模型选择方法（如轮廓系数或肘部法）确定，且过估计对性能影响极小，表明对超参数选择具有鲁棒性。
• LOT提供了一种统计松弛的OT方法，通过理论分析与实证验证，成功缓解了采样需求中的维度灾难问题。