[论文解读] Learning Joint Semantic Parsers from Disjoint Data

Hao Peng, Sam Thomson+2 more|arXiv (Cornell University)|Apr 17, 2018

Natural Language Processing Techniques参考文献 40被引用 6

一句话总结

本文提出了一种联合学习框架，用于在结构差异显著的正式语义形式（即基于短语的框架语义学与基于依存的语义解析）之间进行跨不相交数据集的语义解析，通过将未观测到的形式化表示为隐变量。通过引入跨任务的跨度与依存关系评分机制，并采用ℓ₁正则化剪枝策略，该方法在FrameNet解析任务上实现了0.8%的绝对F₁分数提升，达到新的SOTA水平，同时在语义依存解析任务上也取得了具有竞争力的结果。

ABSTRACT

We present a new approach to learning semantic parsers from multiple datasets, even when the target semantic formalisms are drastically different, and the underlying corpora do not overlap. We handle such "disjoint" data by treating annotations for unobserved formalisms as latent structured variables. Building on state-of-the-art baselines, we show improvements both in frame-semantic parsing and semantic dependency parsing by modeling them jointly.

研究动机与目标

• 解决在不同语义形式之间无数据重叠的情况下，对不相交数据集进行语义解析器训练的挑战。
• 在无共享训练样本的前提下，实现结构差异显著的语义形式之间的联合学习——即基于短语的框架语义学与基于依存的语义解析。
• 克服先前联合解码方法的局限性，这些方法要求存在平行标注或数据重叠。
• 通过利用多个无重叠语料库之间的互补监督，提升语义解析的泛化能力和性能。
• 开发一种可扩展的、可微分的框架，使用神经评分函数对跨度与依存关系之间的跨任务亲和力进行建模。

提出的方法

• 在训练过程中，将未观测到的形式化表示（例如FrameNet数据中的语义依存）视为隐式结构化变量。
• 引入显式的跨任务评分函数，以评估潜在的基于跨度的框架与基于依存的结构之间的兼容性。
• 通过受稀疏结构学习启发的结构化ℓ₁正则化技术，限制跨度-依存对的搜索空间。
• 使用神经网络以端到端可微的方式对框架语义结构、语义依存关系以及跨任务亲和力进行评分。
• 将图模型结构学习技术适配到深度学习设置中，以处理对隐变量进行联合推理的复杂性。
• 采用带有早停机制和词 dropout 的随机次梯度下降法，以在大规模、噪声较多的语义解析数据上优化模型。

实验结果

研究问题

• RQ1 我们能否有效从无任何输入句子共享的不相交数据集中学习联合语义解析器？
• RQ2 当基于跨度和基于依存的语义解析形式从未被共同观测到时，如何对它们之间的跨任务关系进行建模？
• RQ3 隐变量建模与跨任务评分在多大程度上能提升框架语义解析与基于依存的解析任务的性能？
• RQ4 引入ℓ₁正则化剪枝的跨度-依存对策略是否能带来更好的泛化能力并减少过拟合？
• RQ5 是否可以设计一种统一的神经架构，在无需平行标注或数据重叠的情况下，联合优化多种语义形式？

主要发现

• 与之前的工作相比，该方法在FrameNet 1.5开发集上实现了0.8%的绝对F₁分数提升，达到新的SOTA水平。
• 完整模型在召回率方面优于基线模型，尤其在较长的论元跨度（长度 > 4）上表现更优，同时保持了较高的精确率。
• 该模型整体上预测了更多的论元，包括更长的跨度（平均3.2个词元，基线为2.9个），且在长跨度论元上的召回率得到提升。
• 当框架被正确预测时，角色错误率降低，仅有约13%的错误归因于角色标注错误，且其中一半错误源于框架预测错误。
• 尽管FrameNet数据中未对语义依存解析任务提供直接监督，该联合学习框架在该任务上仍取得了具有竞争力的性能表现。
• ℓ₁正则化剪枝策略有效减少了候选跨度-依存对的数量，提升了训练效率与泛化能力。