[论文解读] Learning to Generalize Compositionally by Transferring Across Semantic Parsing Tasks

Zhu Wang, Peter J. Shaw+2 more|arXiv (Cornell University)|Nov 9, 2021

Natural Language Processing Techniques被引用 5

一句话总结

本文提出 DUEL 方法，通过在组合性分割上分别训练编码器和解码器，将预微调任务中的组合泛化能力迁移至目标语义解析任务。该方法在 GeoQuery 数据集的未见组合性分割上实现了最先进性能，在零样本组合泛化任务中显著优于基线模型。

ABSTRACT

Neural network models often generalize poorly to mismatched domains or distributions. In NLP, this issue arises in particular when models are expected to generalize compositionally, that is, to novel combinations of familiar words and constructions. We investigate learning representations that facilitate transfer learning from one compositional task to another: the representation and the task-specific layers of the models are strategically trained differently on a pre-finetuning task such that they generalize well on mismatched splits that require compositionality. We apply this method to semantic parsing, using three very different datasets, COGS, GeoQuery and SCAN, used alternately as the pre-finetuning and target task. Our method significantly improves compositional generalization over baselines on the test set of the target task, which is held out during fine-tuning. Ablation studies characterize the utility of the major steps in the proposed algorithm and support our hypothesis.

研究动机与目标

• 解决神经模型在面对熟悉语言元素的新组合时组合泛化能力差的挑战。
• 探究在一项任务上学到的组合泛化能力是否可以有效迁移到另一项结构不同的、需要类似推理能力的无关任务上。
• 开发一种方法，通过从预微调任务中提取并迁移组合性归纳偏置，实现在语义解析任务间的迁移学习。
• 在微调过程中不使用目标数据集的此类分割，提升对保留的组合性测试分割的零样本泛化能力。

提出的方法

• 使用具有组合性分割的预微调任务——其中训练集和测试集在结构组成上存在差异（例如，句子长度、句法角色）——来训练神经模型。
• 在相同预微调任务的不同分割上分别训练编码器和解码器头，使用双重学习目标以促使编码器学习到可泛化的、组合性的表征。
• 将预训练的编码器应用于目标任务，并仅在目标任务的训练数据上微调解码器头，从而保留预微调过程中学习到的组合性归纳偏置。
• 使用预训练的 T5 风格编码器-解码器模型，将编码器视为表征学习器，解码器视为任务特定头。
• 设计预微调过程以强调训练和测试分割之间的分布差异，模拟组合泛化行为。
• 通过消融研究验证双重训练的必要性以及编码器在实现对未见组合性分割泛化中的作用。

实验结果

研究问题

• RQ1 在一项语义解析任务上学到的组合泛化能力是否可以有效迁移到另一项结构不同的语义解析任务上？
• RQ2 在不同组合性分割上分别训练编码器和解码器是否能提升对目标任务未见测试分割的零样本泛化能力？
• RQ3 与标准监督微调相比，双重预微调策略在组合泛化性能方面表现如何？
• RQ4 所提出方法中哪些组件对实现改进的泛化能力最为关键，它们各自如何贡献？

主要发现

• DUEL 显著提升了 GeoQuery 数据集 Target Maximum Compound Divergence 分割（geo_cd）上的组合泛化性能，优于先前最先进神经模型。
• 在 GeoQuery 长度泛化分割（geo_len）上，DUEL 相较于强基线模型实现了显著改进，展示了对更长句子的稳健零样本泛化能力。
• 消融研究证实，对组合性分割进行双重训练对迁移至关重要，且编码器学习到的表征在实现泛化中起关键作用。
• 即使预微调任务与目标任务在结构上差异极大，例如从合成数据集（COGS、SCAN）迁移到真实世界数据集（GeoQuery），该方法仍能有效泛化。
• 当预微调任务与目标任务过于相似时，迁移性能受限，表明该方法在任务结构差异较大时收益最大。
• 该方法在三个不同的语义解析数据集（COGS、GeoQuery、SCAN）上均表现有效，证明了可迁移归纳偏置的广泛适用性。