[论文解读] Hierarchical Curriculum Learning for AMR Parsing

Peiyi Wang, Liang Chen+5 more|arXiv (Cornell University)|Oct 15, 2021

Natural Language Processing Techniques被引用 4

一句话总结

本文提出层级课程学习（HCL）用于AMR解析，引入结构级课程（SC）和实例级课程（IC），帮助序列到序列模型更好地学习AMR图的层次结构。通过先在核心语义元素和简单实例上训练，再逐步过渡到复杂结构，HCL提升了模型性能，在AMR2.0上达到84.3 smatch，在AMR3.0上达到83.7，优于先前的SOTA方法。

ABSTRACT

Abstract Meaning Representation (AMR) parsing aims to translate sentences to semantic representation with a hierarchical structure, and is recently empowered by pretrained sequence-to-sequence models. However, there exists a gap between their flat training objective (i.e., equally treats all output tokens) and the hierarchical AMR structure, which limits the model generalization. To bridge this gap, we propose a Hierarchical Curriculum Learning (HCL) framework with Structure-level (SC) and Instance-level Curricula (IC). SC switches progressively from core to detail AMR semantic elements while IC transits from structure-simple to -complex AMR instances during training. Through these two warming-up processes, HCL reduces the difficulty of learning complex structures, thus the flat model can better adapt to the AMR hierarchy. Extensive experiments on AMR2.0, AMR3.0, structure-complex and out-of-distribution situations verify the effectiveness of HCL.

研究动机与目标

• 解决平坦的序列到序列训练目标与AMR图层次性之间的差距。
• 提升模型在复杂和分布外AMR实例上的泛化能力和性能。
• 通过结构化和实例化的课程逐步引入复杂性，模拟人类学习过程。
• 增强预训练序列到序列模型捕捉AMR解析中层次语义结构的能力。

提出的方法

• 结构级课程（SC）在按深度递增顺序排列的AMR子图上训练模型，从靠近根节点的核心语义元素开始。
• 实例级课程（IC）在按结构复杂度递增顺序排列的AMR实例上训练模型，从更简单的图开始。
• 使用交替切换SC和IC的课程调度策略对模型进行微调，逐步提高训练样本的难度。
• 使用基于DFS的分词方法生成线性化AMR图，特殊标记用于表示变量和深度信息。
• 将该框架集成到基于BART的序列到序列模型中，并通过消融实验隔离每种课程的影响。
• 后处理遵循Bevilacqua等人（2021）的方法，以确保公平比较。

实验结果

研究问题

• RQ1 层级课程学习策略能否提升序列到序列模型在AMR解析上的性能？
• RQ2 在详细结构之前先训练核心语义元素，是否能增强模型对AMR层次结构的理解？
• RQ3 在从简单到复杂的AMR实例上逐步训练，能否提升模型在复杂和分布外数据上的泛化能力？
• RQ4 结构级课程与实例级课程在有效性及互补性方面如何比较？

主要发现

• HCL在AMR2.0上达到84.3 smatch，在AMR3.0上达到83.7，分别优于先前SOTA方法0.5和0.7 smatch点。
• 在结构依赖性指标（无标签、重入、SRL）上，HCL在AMR2.0和AMR3.0上分别提升F1 2.97和2.83分，表明结构学习能力显著增强。
• 同时使用两种课程的模型优于消融版本，且SC单独效果强于IC，表明SC对层次感知能力的影响更大。
• 在分布外数据集（BIO、TLP、News3）上，HCL分别取得61.1、78.2和75.3 smatch，全面超越Bevilacqua等人（2021）的结果，证明泛化能力提升。
• 性能提升在更深的AMR图上最为显著，随着图深度增加，HCL始终优于基线模型。