[论文解读] Encoding Syntactic Knowledge in Transformer Encoder for Intent Detection and Slot Filling

Jixuan Wang, Kai Wei+3 more|arXiv (Cornell University)|Dec 21, 2020

Topic Modeling参考文献 41被引用 4

一句话总结

该论文提出了一种新型的Transformer编码器架构，通过在依存句法解析祖先和词性标注任务上进行多任务训练，联合学习意图识别与槽位填充，并编码句法知识。通过训练一个注意力头来预测句法祖先，并与词性标注共享嵌入表示，该模型仅使用两层编码器就在SNIPS和ATIS数据集上取得了最先进性能，相较于之前的非预训练模型，F1提升1.59%，准确率提升0.85%。

ABSTRACT

We propose a novel Transformer encoder-based architecture with syntactical knowledge encoded for intent detection and slot filling. Specifically, we encode syntactic knowledge into the Transformer encoder by jointly training it to predict syntactic parse ancestors and part-of-speech of each token via multi-task learning. Our model is based on self-attention and feed-forward layers and does not require external syntactic information to be available at inference time. Experiments show that on two benchmark datasets, our models with only two Transformer encoder layers achieve state-of-the-art results. Compared to the previously best performed model without pre-training, our models achieve absolute F1 score and accuracy improvement of 1.59% and 0.85% for slot filling and intent detection on the SNIPS dataset, respectively. Our models also achieve absolute F1 score and accuracy improvement of 0.1% and 0.34% for slot filling and intent detection on the ATIS dataset, respectively, over the previously best performed model. Furthermore, the visualization of the self-attention weights illustrates the benefits of incorporating syntactic information during training.

研究动机与目标

• 通过将句法知识直接整合到Transformer编码器架构中，提升意图识别与槽位填充的性能。
• 通过在训练过程中学习句法监督，消除推理时对外部句法信息的依赖。
• 探究在依存句法解析祖先和词性标注任务上进行联合训练是否能增强注意力学习与模型泛化能力。
• 证明句法监督可改善注意力模式与模型性能，而无需依赖预训练。

提出的方法

• 该模型采用多任务学习框架，联合训练意图识别、槽位填充、依存句法解析祖先预测和词性标注任务。
• 在专用的Transformer编码器层中设置一个专用注意力头，利用依存句法树预测每个词元的完整句法谱系。
• 通过与NLU任务共享编码器分支，实现词性标注，从而增强句法表征学习。
• 模型采用标准的Transformer编码器层，包含多头自注意力机制、前馈网络、层归一化和残差连接。
• 句法监督仅在训练阶段注入，推理时无需依赖，支持端到端部署。
• 该架构在SNIPS和ATIS基准数据集上进行评估，采用F1和准确率作为指标。

实验结果

研究问题

• RQ1 通过多任务学习编码句法知识，是否能在不依赖推理时外部句法信息的前提下，提升意图识别与槽位填充的性能？
• RQ2 训练专用注意力头以预测句法祖先，是否能带来更优的注意力模式与模型性能？
• RQ3 句法监督如何影响Transformer编码器中的注意力权重分布？
• RQ4 当整合句法知识时，仅使用两层Transformer编码器的极简架构能否实现最先进性能？

主要发现

• 在SNIPS数据集上，该模型相较于之前表现最佳的非预训练模型，F1绝对提升1.59%，准确率绝对提升0.85%。
• 在ATIS数据集上，该模型相较于之前的最先进模型，F1绝对提升0.1%，准确率绝对提升0.34%。
• 注意力权重的可视化显示，接受句法监督的模型发展出更具结构性和信息量的注意力模式，尤其在长距离依赖上表现更优。
• 用于依存预测的注意力头学会更强烈地关注句法相关的祖先，从而改善上下文表征。
• 消融实验证实，依存句法和词性标注的监督均对性能提升有贡献，其中依存监督的影响更强。
• 该模型仅使用两层Transformer编码器即达到SOTA性能，证明了句法归纳偏置在效率与有效性方面的优势。