[论文解读] A Decomposable Attention Model for Natural Language Inference

Ankur P. Parikh, Oscar Täckström+2 more|arXiv (Cornell University)|Jun 6, 2016

Topic Modeling参考文献 24被引用 63

一句话总结

本文提出了一种用于自然语言蕴涵的可分解注意力模型，通过使用软注意力机制将任务简化为独立且并行的子问题。该模型在SNLI数据集上实现了最先进性能，参数量仅为先前基于LSTM模型的十分之一，同时对词序的依赖极低，并通过高效轻量的架构展现出强大的泛化能力。

ABSTRACT

We propose a simple neural architecture for natural language inference. Our approach uses attention to decompose the problem into subproblems that can be solved separately, thus making it trivially parallelizable. On the Stanford Natural Language Inference (SNLI) dataset, we obtain state-of-the-art results with almost an order of magnitude fewer parameters than previous work and without relying on any word-order information. Adding intra-sentence attention that takes a minimum amount of order into account yields further improvements.

研究动机与目标

• 开发一种轻量级、高效的神经架构用于自然语言蕴涵，避免复杂的序列建模。
• 通过使用注意力机制将NLI任务分解为独立且并行的子问题，提升推理性能。
• 在保持或提升SNLI基准准确率的同时，减少对词序信息的依赖。
• 探索在不增加模型复杂度的前提下，句内注意力在增强局部子结构表征方面的有效性。

提出的方法

• 该模型采用三阶段架构：Attend（计算前提和假设的词嵌入之间的软注意力）、Compare（为对齐的词对计算成对相似性向量）、Aggregate（通过前馈网络将相似性组合为最终预测）。
• 软注意力通过词嵌入之间的双线性交互计算，生成对齐得分矩阵，用于指导比较过程。
• Compare阶段对每个对齐的词对应用前馈网络，生成独立于词位置的交互特征向量。
• Aggregate阶段对比较向量使用前馈网络，生成对三种类别（蕴涵、矛盾、中性）的最终预测。
• 在Attend步骤前可选地应用句内注意力机制，以最小的序列上下文信息丰富局部表征。
• 模型通过Adagrad端到端训练，使用Dropout正则化和固定的GloVe词嵌入，同时在训练过程中微调投影层。

实验结果

研究问题

• RQ1 简单的可分解注意力机制是否能在自然语言蕴涵任务中超越复杂的序列模型（如LSTM）？
• RQ2 在减少对词序和全局句子表征依赖的情况下，性能能在多大程度上保持或提升？
• RQ3 在不增加模型复杂度的前提下，添加最小的句内注意力是否能提升NLI任务的性能？
• RQ4 参数量显著减少的模型是否能在SNLI基准上实现最先进结果？

主要发现

• 原始的可分解模型在SNLI测试集上达到84.4%的准确率，发表时创下新的最先进水平。
• 该模型仅使用150万个参数，几乎比先前基于LSTM的最先进模型少一个数量级。
• 添加句内注意力后，性能提升至84.9%的准确率，进一步推进了最先进水平。
• 该模型在中性和蕴涵对上表现良好，性能提升主要来自中性预测的改善。
• 该模型在矛盾对上表现不佳，尤其在细微词汇不匹配（如“close”与“open”）时，表明其在检测细粒度语义不兼容性方面存在局限。
• 错误分析显示，即使词序并非关键因素，该模型在需要序列推理或数值推理的样本上仍会失败，表明其在局部组合建模方面仍有改进空间。