[论文解读] Graph Optimal Transport for Cross-Domain Alignment

Li‐Qun Chen, Zhe Gan+4 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Graph Neural Networks被引用 22

一句话总结

本文提出图最优传输（GOT），一种用于跨域对齐的合理框架，通过使用Wasserstein距离（WD）进行节点对齐，Gromov-Wasserstein距离（GWD）进行结构对齐，将实体匹配建模为图匹配问题。GOT作为神经网络中的即插即用正则化器，生成稀疏且可解释的传输计划，在图像-文本检索、视觉问答（VQA）、图像字幕生成、机器翻译和摘要生成等任务中持续提升性能。

ABSTRACT

Cross-domain alignment between two sets of entities (e.g., objects in an image, words in a sentence) is fundamental to both computer vision and natural language processing. Existing methods mainly focus on designing advanced attention mechanisms to simulate soft alignment, with no training signals to explicitly encourage alignment. The learned attention matrices are also dense and lacks interpretability. We propose Graph Optimal Transport (GOT), a principled framework that germinates from recent advances in Optimal Transport (OT). In GOT, cross-domain alignment is formulated as a graph matching problem, by representing entities into a dynamically-constructed graph. Two types of OT distances are considered: (i) Wasserstein distance (WD) for node (entity) matching; and (ii) Gromov-Wasserstein distance (GWD) for edge (structure) matching. Both WD and GWD can be incorporated into existing neural network models, effectively acting as a drop-in regularizer. The inferred transport plan also yields sparse and self-normalized alignment, enhancing the interpretability of the learned model. Experiments show consistent outperformance of GOT over baselines across a wide range of tasks, including image-text retrieval, visual question answering, image captioning, machine translation, and text summarization.

研究动机与目标

• 解决现有基于注意力的模型在跨域对齐中缺乏显式训练信号的问题。
• 通过用最优传输计划替代密集的注意力矩阵，提升学习对齐的可解释性与稀疏性。
• 利用最优传输理论统一跨域对齐中的节点级与结构级匹配。
• 开发一种通用、可微分的框架，兼容现有神经网络架构，作为正则化器使用。
• 在多样化的多模态与自然语言处理任务中，实证验证该框架的有效性。

提出的方法

• 使用学习到的特征嵌入，在动态构建的图中将每个域中的实体表示为节点。
• 应用Wasserstein距离（WD）基于特征嵌入匹配跨域的节点（实体）。
• 使用Gromov-Wasserstein距离（GWD）通过比较相对距离来匹配实体之间的结构关系（边）。
• 将整体对齐形式化为WD与GWD的联合优化，最小化域分布之间的传输成本。
• 将GOT损失作为可微分正则化器集成到现有神经网络目标中，无需修改网络架构。
• 使用共享的Sinkhorn正则化传输计划，以确保训练过程中的效率与一致性。

实验结果

研究问题

• RQ1 最优传输能否被有效适配，以实现可微分、可解释且可扩展的跨域对齐建模？
• RQ2 结合节点级（WD）与结构级（GWD）匹配是否优于单独使用任一方法，从而提升对齐性能？
• RQ3 GOT能否作为通用的即插即用正则化器，在多种视觉与语言任务中提升性能？
• RQ4 超参数λ（WD与GWD之间的权重）如何影响模型性能？
• RQ5 如所声称，GOT学习到的传输计划是否具有稀疏性与可解释性？

主要发现

• GOT在五个不同任务中持续优于强基线模型：图像-文本检索、视觉问答（VQA）、图像字幕生成、机器翻译与抽象摘要生成。
• 在EN-VI翻译数据集上，GOT在λ=0.8时达到BLEU分数29.92，优于基线（28.65）与非共享传输计划变体（29.77）。
• 消融研究显示，共享传输计划相比非共享计划可减少训练时间并提升性能，在EN-VI上提升0.15 BLEU，在EN-DE上提升0.16 BLEU。
• 在EN-VI数据集上，最优λ值为0.8，表明在翻译任务中，节点匹配（WD）的贡献大于结构匹配（GWD）。
• 传输计划的可视化显示其具有稀疏且自归一化的对齐特性，如“largest”与“more”对齐，“projects”与“investment”对齐，证实其可解释性。
• 在文本摘要任务中，WD与GWD均提升了ROUGE分数，表明该框架可泛化至抽象生成任务。