[论文解读] InfoOT: Information Maximizing Optimal Transport

Ching-Yao Chuang, Stefanie Jegelka+1 more|arXiv (Cornell University)|Oct 6, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

InfoOT 提出了一种基于信息论的最优传输扩展方法，通过在源域与目标域之间最大化互信息并最小化几何距离，实现鲁棒的、分布外样本的泛化。该方法采用一种新颖的条件投影方法，在领域自适应、跨域检索和单细胞组学基准测试中，通过保持聚类结构并处理类别不平衡，显著提升了对齐质量。

ABSTRACT

Optimal transport aligns samples across distributions by minimizing the transportation cost between them, e.g., the geometric distances. Yet, it ignores coherence structure in the data such as clusters, does not handle outliers well, and cannot integrate new data points. To address these drawbacks, we propose InfoOT, an information-theoretic extension of optimal transport that maximizes the mutual information between domains while minimizing geometric distances. The resulting objective can still be formulated as a (generalized) optimal transport problem, and can be efficiently solved by projected gradient descent. This formulation yields a new projection method that is robust to outliers and generalizes to unseen samples. Empirically, InfoOT improves the quality of alignments across benchmarks in domain adaptation, cross-domain retrieval, and single-cell alignment.

研究动机与目标

• 为解决标准最优传输在保持数据一致性、处理异常值以及泛化到未见样本方面的局限性。
• 通过互信息最大化，将全局结构信息（如聚类结构）整合到最优传输中。
• 开发一种新型投影方法，实现对未见样本的泛化，并增强对类别不平衡和异常值的鲁棒性。
• 将最优传输扩展至不同度量空间中的分布对齐，例如具有不同模态或维度的空间。

提出的方法

• InfoOT 将广义最优传输问题公式化，结合几何代价与通过核密度估计估计的互信息项。
• 运输代价被定义为估计联合密度与边缘密度乘积的对数比值，以捕捉源样本与目标样本之间的依赖关系。
• 采用投影梯度下降算法高效求解所得优化问题，同时保持最优传输的结构特性。
• 引入条件投影作为新型映射方法，通过在源条件密度上进行重要性采样计算目标预测，实现对未见样本的泛化。
• 该方法仅依赖域内距离，使其适用于不同度量空间中的分布对齐，类似于 Gromov-Wasserstein 方法，但引入了信息论正则化。
• 该方法利用核密度估计，从未配对样本的运输计划中估计联合分布与边缘分布。

实验结果

研究问题

• RQ1 互信息能否被有效整合到最优传输中，以提升对齐质量并保持数据结构？
• RQ2 如何使最优传输在真实世界数据集中对异常值和类别不平衡具有鲁棒性？
• RQ3 能否开发一种新型投影方法，使其能泛化到未见样本，从而支持流式处理或大规模应用？
• RQ4 InfoOT 在多大程度上能够实现跨不同模态或维度空间的分布对齐？

主要发现

• 在 Office-Caltech 数据集上，InfoOT 在领域自适应任务中显著优于重心投影和标准 OT 基线方法，尤其在类别不平衡条件下，scGEM 数据集上的标签迁移准确率达到 68.9%。
• 在 ImageClef 和 Office-Caltech 数据集上，F-InfoOT 的 top-k 精度高于基线方法，表明其在无监督跨域检索中具有更优性能。
• 在单细胞对齐任务中，InfoOT 在 scGEM 数据集上取得 0.178 的 FOSCTTM 得分和 98.8% 的标签迁移准确率，优于 UnionCom、MMD-MA 和 SCOT (GW)。
• t-SNE 可视化结果表明，InfoOT 中的条件投影方法在异常值和类别不平衡方面比重心投影更具鲁棒性，聚类结构得以更好保留。
• InfoOT 实现了有效的分布外泛化，使得无需重新求解完整 OT 问题，即可对新源样本进行相似性评分。
• 该方法在多种设置下均表现出良好泛化能力，包括跨域检索、领域自适应以及单细胞多组学数据整合。