[论文解读] Revisiting Iterative Back-Translation from the Perspective of Compositional Generalization

Yinuo Guo, Hualei Zhu+4 more|arXiv (Cornell University)|Dec 8, 2020

Machine Learning in Bioinformatics参考文献 41被引用 5

一句话总结

本文研究了迭代回译（IBT）作为一种半监督方法，用于提升神经序列到序列模型的组合泛化能力。结果表明，IBT通过逐步纠正伪平行数据中的错误，显著提升了在CFQ和SCAN基准上的性能，并提出了课程迭代回译（CIBT）方法以进一步提高伪数据质量，从而在各项任务中实现一致的性能提升，尤其在困难的泛化任务上表现突出。

ABSTRACT

Human intelligence exhibits compositional generalization (i.e., the capacity to understand and produce unseen combinations of seen components), but current neural seq2seq models lack such ability. In this paper, we revisit iterative back-translation, a simple yet effective semi-supervised method, to investigate whether and how it can improve compositional generalization. In this work: (1) We first empirically show that iterative back-translation substantially improves the performance on compositional generalization benchmarks (CFQ and SCAN). (2) To understand why iterative back-translation is useful, we carefully examine the performance gains and find that iterative back-translation can increasingly correct errors in pseudo-parallel data. (3) To further encourage this mechanism, we propose curriculum iterative back-translation, which better improves the quality of pseudo-parallel data, thus further improving the performance.

研究动机与目标

• 探究迭代回译（IBT）是否能够提升神经序列到序列模型的组合泛化能力。
• 理解IBT在超越标注数据范围的泛化能力提升背后的机制。
• 开发一种方法，进一步提升IBT过程中生成的伪平行数据的质量，以增强模型性能。
• 评估IBT及其增强变体在标准组合泛化基准（CFQ和SCAN）上的有效性。

提出的方法

• 通过使用序列到序列模型从单语数据生成伪平行数据，然后在原始数据和生成数据之间交替进行前向和后向微调，应用迭代回译。
• 该方法利用丰富的单语数据，使模型接触到已知组件的未见过的组合，从而模拟组合泛化。
• 引入课程学习策略，优先处理较简单的样本进行伪数据生成，逐步增加复杂度，以提升数据质量。
• 课程调度基于测试集的难度设计，将样本按复杂度（如操作数或标记数）分组，并用于指导伪数据生成的顺序。
• 通过在CFQ和SCAN基准上使用多个数据划分（MCD1、MCD2、MCD3）和超参数设置下的准确率得分来评估性能。
• 所提出的课程迭代回译（CIBT）通过在日益复杂的数据上进行训练，明确提升了伪数据质量，减少了错误传播。

实验结果

研究问题

• RQ1 RQ1：迭代回译如何影响神经序列到序列模型在标注平行数据之外的未见组合上的泛化能力？
• RQ2 RQ2：如果迭代回译能够提升组合泛化能力，其成功背后的关键机制是什么？
• RQ3 RQ3：伪平行数据的质量是否可以进一步提升以增强性能？如果是，如何实现？

主要发现

• 迭代回译在组合泛化基准上显著提升了性能，其中在CFQ基准的MCD1上提升1.8%，MCD2上提升11.3%，MCD3上提升5.8%。
• IBT带来的性能增益归因于其能够逐步纠正伪平行数据中的错误，尤其是在后期训练迭代中效果更明显。
• 课程迭代回译（CIBT）在所有数据划分和超参数设置下均持续优于标准IBT，表现出更强的鲁棒性和泛化能力。
• CIBT在最具挑战性的子集（MCD2）上提供了最大的性能提升，而IBT在此子集上表现较差，表明课程学习在困难泛化任务中尤为有益。
• 图6显示，随着测试数据复杂度的增加，CIBT的性能增益也持续扩大，证实课程学习在困难样本上更具有效性。
• IBT与CIBT之间的性能差距在MCD2上最为显著（提升11.3%），CIBT在MCD2上的性能（69.1%）与MCD1（66.6%）和MCD3（70.4%）趋于一致，表明其在不同难度水平间实现了更好的性能平衡。