[论文解读] Fork or Fail: Cycle-Consistent Training with Many-to-One Mappings

Qipeng Guo, Zhijing Jin+6 more|arXiv (Cornell University)|Dec 14, 2020

Machine Learning and Algorithms参考文献 38被引用 10

一句话总结

该论文提出CycleCVAE，一种条件变分自编码器框架，通过建模随机且多样的输出，在真实应用场景（如知识图谱到文本生成）中常见的多对一（满射）映射下实现循环一致性训练。该方法在性能上与监督方法相当，同时实现了逼真的文本多样性，已在合成数据集和WebNLG数据集上验证，平均每张图生成4.67个改写句。

ABSTRACT

Cycle-consistent training is widely used for jointly learning a forward and inverse mapping between two domains of interest without the cumbersome requirement of collecting matched pairs within each domain. In this regard, the implicit assumption is that there exists (at least approximately) a ground-truth bijection such that a given input from either domain can be accurately reconstructed from successive application of the respective mappings. But in many applications no such bijection can be expected to exist and large reconstruction errors can compromise the success of cycle-consistent training. As one important instance of this limitation, we consider practically-relevant situations where there exists a many-to-one or surjective mapping between domains. To address this regime, we develop a conditional variational autoencoder (CVAE) approach that can be viewed as converting surjective mappings to implicit bijections whereby reconstruction errors in both directions can be minimized, and as a natural byproduct, realistic output diversity can be obtained in the one-to-many direction. As theoretical motivation, we analyze a simplified scenario whereby minima of the proposed CVAE-based energy function align with the recovery of ground-truth surjective mappings. On the empirical side, we consider a synthetic image dataset with known ground-truth, as well as a real-world application involving natural language generation from knowledge graphs and vice versa, a prototypical surjective case. For the latter, our CVAE pipeline can capture such many-to-one mappings during cycle training while promoting textural diversity for graph-to-text tasks. Our code is available at github.com/QipengGuo/CycleGT *A condensed version of this paper has been accepted to AISTATS 2021. This version contains additional content and updates.

研究动机与目标

• 解决在非双射、满射映射下循环一致性训练的局限性，因为标准确定性模型在重建误差下会失效。
• 在多对一设置中建模真实条件分布 $ p_{gt}(\mathbf{x}|\mathbf{y}) $，实现从知识图谱出发的逼真且多样的文本生成。
• 提供理论依据，证明所提出的基于CVAE的能量函数的极小值与恢复真实满射映射一致。
• 在合成数据和真实世界的知识图谱到文本生成任务中实证验证该方法，证明其在性能上与监督模型相当，且输出多样性显著。

提出的方法

• 构建条件变分自编码器（CVAE）以建模随机映射 $ p_{gt}(\mathbf{x}|\mathbf{y}) $ 和 $ p_{gt}(\mathbf{y}|\mathbf{x}) $，取代循环训练中使用的确定性函数。
• 使用近似推理与随机潜在变量 $ \mathbf{z} $ 建模多对一条件分布，实现在一对多方向的多样化输出。
• 优化包含双向循环一致性损失的变分下界（ELBO），在最小化重建误差的同时保持多样性。
• 将CVAE与预训练的T5模型结合，以提升文本生成质量，同时利用大规模预训练的优势并保持循环一致性。
• 使用来自两个领域的非平行数据进行模型训练，通过重建损失 $ \|\mathbf{x} - f(g(\mathbf{x}))\| $ 和 $ \|\mathbf{y} - g(f(\mathbf{y}))\| $ 强制实现循环一致性，现适用于随机映射。
• 将该框架应用于知识图谱到文本和文本到知识图谱的转换任务，其中多个语义等价的文本映射到同一张图。

实验结果

研究问题

• RQ1 当双射假设不成立时，基于CVAE的框架是否能有效学习并重建真实满射映射，实现循环一致性训练？
• RQ2 在多对一映射中，建模随机条件分布 $ p_{gt}(\mathbf{x}|\mathbf{y}) $ 是否能提升重建准确率与多样性？
• RQ3 在无配对训练数据的情况下，该方法是否能在知识图谱到文本生成任务中达到与监督模型相当的性能？
• RQ4 该模型在为同一知识图谱生成多样化改写句时，能在多大程度上保持语义一致性？
• RQ5 将CVAE与预训练的T5模型结合后，对零样本或弱监督设置下的生成质量与多样性有何影响？

主要发现

• 在完整的WebNLG数据集上，CycleCVAE在文本到图生成任务中取得46.5的BLEU分数，在图到文本任务中取得62.6的F1分数，优于所有无监督基线模型，并接近监督SOTA结果。
• CycleCVAE平均每张知识图谱生成4.67个多样化改写句，99%的测试实例生成了超过两个不同的改写句。
• 从同一图生成的两个改写句之间的平均编辑距离为12.24个词，表明在保持语义内容的同时存在显著的语言差异。
• 即使仅使用50%的数据（前半部分用于文本，后半部分用于图），CycleCVAE仍保持强劲性能，BLEU得分为43.3，F1得分为60.0，显示出对数据稀疏性的鲁棒性。
• 当与预训练的T5模型结合后，CycleCVAE+T5在BLEU分数上达到55.7，与完全监督的T5基线模型（56.4–57.4）相当，同时保持每张图3.84个平均变体。
• 该模型表明，文本生成的多样性不会损害流畅性或语义相关性，这一点通过具有竞争力的BLEU分数和人工标注的多样性得到验证。