[论文解读] Compositional Generalization via Semantic Tagging

Hao Zheng, Mirella Lapata|arXiv (Cornell University)|Oct 22, 2020

Topic Modeling参考文献 33被引用 6

一句话总结

本文提出了一种两阶段神经语义解析框架，通过首先使用神经标注器将输入话语中的语义符号（如谓词或SQL列）进行标注，然后使用一个同时依赖输入和标注序列的序列到序列模型生成语义表示，从而在组合泛化方面实现改进。该方法通过实现解耦的、类似词典的处理方式并减少基于注意力的干扰，在多个数据集和模型架构上均实现了组合泛化性能的持续提升。

ABSTRACT

Although neural sequence-to-sequence models have been successfully applied to semantic parsing, they fail at compositional generalization, i.e., they are unable to systematically generalize to unseen compositions of seen components. Motivated by traditional semantic parsing where compositionality is explicitly accounted for by symbolic grammars, we propose a new decoding framework that preserves the expressivity and generality of sequence-to-sequence models while featuring lexicon-style alignments and disentangled information processing. Specifically, we decompose decoding into two phases where an input utterance is first tagged with semantic symbols representing the meaning of individual words, and then a sequence-to-sequence model is used to predict the final meaning representation conditioning on the utterance and the predicted tag sequence. Experimental results on three semantic parsing datasets show that the proposed approach consistently improves compositional generalization across model architectures, domains, and semantic formalisms.

研究动机与目标

• 解决神经序列到序列模型在组合泛化方面的失败问题，即无法泛化到已知组件的未见过组合。
• 将传统语义解析器（如显式对齐和解耦处理）所具备的符号组合特性优势整合到神经序列到序列模型中。
• 设计一种解码框架，在保持神经模型表达能力的同时，提升对测试样本中结构和语义变化的鲁棒性。
• 在多种数据集、语义形式化系统（SQL、λ-演算）以及模型架构下，通过基于查询的划分方式评估该方法，以突出组合泛化性能。

提出的方法

• 将语义解析分解为两个阶段：首先，使用神经标注器为输入话语中的每个词或词段分配语义符号（如谓词或列）。
• 标注器利用全局上下文独立地为每个词预测语义符号，强制条件独立性，并实现语言表达与语义成分之间的类似词典的对齐。
• 随后，一个序列到序列模型基于原始话语和预测的语义标签序列生成最终的语义表示。
• 标注器作为输出空间的软约束，减少注意力干扰，提升对单个语义组件的预测性能。
• 该框架具有模块化特性，可兼容任意序列到序列模型和语义形式化系统。
• 通过基于查询的划分方式评估该方法，以隔离组合泛化性能。

实验结果

研究问题

• RQ1 神经标注模块是否能通过将语义组件预测与序列生成解耦，提升序列到序列语义解析器的组合泛化能力？
• RQ2 与数据增强或注意力监督等现有方法相比，语义标注在处理未见过的组合结构时表现如何？
• RQ3 语义标注带来的性能增益在多大程度上依赖于语言表达与语义符号之间的显式对齐？
• RQ4 该方法是否能在不同语义形式化系统（如SQL与λ-演算）和模型架构之间实现泛化？
• RQ5 语义标注最显著减少了哪类预测错误？是否引入了新的错误模式？

主要发现

• 所提出的语义标注框架在基于查询划分的三个语义解析数据集（GeoQuery、WikiSQL、ATIS）上均一致提升了组合泛化性能。
• 在WikiSQL上，该方法使coarse2fine模型的精确匹配准确率提升了4.3个百分点，执行准确率也提升了相近幅度，主要得益于WHERE子句预测的改善。
• LSTM +ST模型（带语义标注）在组合泛化方面优于基于数据增强的GECA方法，证明了标注引入的归纳偏差具有显著有效性。
• 语义标注显著减少了错误预测语义符号的错误，尤其是在复杂或罕见结构中；同时略微增加了部分或错误查询生成的错误。
• 在GeoQuery上，该方法对语义符号的预测准确率达到86.2%（使用λ-演算），但最终查询准确率仅为52.1%，表明符号级性能提升并不总能完全转化为最终输出的提升。
• 该方法在包含桥接列的SQL查询（如ATIS中的情况）中效果较弱，因为没有语言表达与语义符号对齐，凸显了对齐感知符号选择的必要性。