[论文解读] Improving Natural Language Inference with a Pretrained Parser

Deric Pang, Lucy H. Lin+1 more|arXiv (Cornell University)|Sep 18, 2019

Topic Modeling参考文献 23被引用 16

一句话总结

本文提出了一种简单而有效的方法，通过将预训练依存句法解析器中的上下文句法表示整合到现有自然语言推理（NLI）模型中，以提升NLI性能。通过采用晚期融合或注意力机制融合这些句法词表示（SWRs），该方法在SNLI、MNLI和SciTail数据集上对四种强基准NLI模型（分解注意力、ESIM、BERT、MT-DNN）的准确率均有持续提升，HANS数据集上最高提升达3.1%，表明模型对虚假启发式规则的依赖性降低。

ABSTRACT

We introduce a novel approach to incorporate syntax into natural language inference (NLI) models. Our method uses contextual token-level vector representations from a pretrained dependency parser. Like other contextual embedders, our method is broadly applicable to any neural model. We experiment with four strong NLI models (decomposable attention model, ESIM, BERT, and MT-DNN), and show consistent benefit to accuracy across three NLI benchmarks.

研究动机与目标

• 通过整合来自预训练解析器的句法结构，提升神经网络NLI模型的性能。
• 探究从大规模句法预训练中学习到的句法表示是否能增强NLI中的语义推理能力。
• 开发一种通用且参数高效的改进方法，适用于多种NLI架构，且无需修改模型结构。
• 评估句法信息整合是否能减少模型对虚假词汇和句法启发式规则的过度依赖，通过HANS基准进行衡量。

提出的方法

• 从预训练依存句法解析器编码器的隐藏状态中提取前提和假设的上下文词粒度向量表示（句法词表示，SWRs）。
• 采用晚期融合（+LF）：将前提和假设的最终解析器表示拼接后，与最终表示向量一起输入分类器。
• 实现句法注意力（+SA）：在标准注意力计算中引入SWRs，修改注意力分数，使其同时包含语义和句法表示。
• 将SWRs整合到四种NLI模型中：分解注意力、ESIM、BERT和MT-DNN，根据模型兼容性选择使用+LF或+SA。
• 在保持预训练解析器参数不变的前提下，端到端训练模型，使用标准NLI目标函数。
• 在SNLI、MNLI和SciTail数据集上评估性能，并利用HANS数据集探测模型行为，以评估其对启发式规则的依赖程度。

实验结果

研究问题

• RQ1 来自预训练解析器的句法表示能否提升多种神经网络NLI模型的准确率？
• RQ2 句法信息的整合是否能减少模型对虚假词汇和句法启发式规则的依赖？
• RQ3 所提出的晚期融合或句法注意力方法在不同NLI架构中，哪种更有效？
• RQ4 句法表示带来的性能提升是否能在具有不同数据分布的多个NLI基准上泛化？

主要发现

• 所提方法在SNLI、MNLI和SciTail数据集上，对四种强基准NLI模型（分解注意力、ESIM、BERT、MT-DNN）均持续提升准确率。
• 晚期融合（+LF）带来一致的性能提升，例如在SciTail数据集上，DA +SA模型的准确率绝对提升达3.1%。
• 句法注意力（+SA）降低了模型对不可靠启发式规则的依赖：例如，BERT +LF将HANS整体准确率从50.2%提升至53.2%，且在蕴含与非蕴含标签上的表现更加均衡。
• 在HANS基准上，引入SWRs的模型在蕴含与非蕴含样本之间的性能差异显著减小，表明其对句法捷径的利用程度降低。
• 消融实验表明，+LF对噪声具有鲁棒性，而+SA在引入噪声时表现下降，说明+LF在实际应用中更具可靠性。
• 该方法具有广泛适用性，且引入的参数极少，因此是现有NLI系统实用而有效的增强方式。