[论文解读] Learning Natural Language Inference using Bidirectional LSTM model and Inner-Attention

Yang Liu, Chengjie Sun+2 more|arXiv (Cornell University)|May 30, 2016

Topic Modeling参考文献 9被引用 234

一句话总结

一个基于句子编码的NLI模型，使用双向LSTM和内部注意力机制来产生 refined sentence representations， 在句子编码方法中实现了最先进的SNLI性能，模型轻量。

ABSTRACT

In this paper, we proposed a sentence encoding-based model for recognizing text entailment. In our approach, the encoding of sentence is a two-stage process. Firstly, average pooling was used over word-level bidirectional LSTM (biLSTM) to generate a first-stage sentence representation. Secondly, attention mechanism was employed to replace average pooling on the same sentence for better representations. Instead of using target sentence to attend words in source sentence, we utilized the sentence's first-stage representation to attend words appeared in itself, which is called "Inner-Attention" in our paper . Experiments conducted on Stanford Natural Language Inference (SNLI) Corpus has proved the effectiveness of "Inner-Attention" mechanism. With less number of parameters, our model outperformed the existing best sentence encoding-based approach by a large margin.

研究动机与目标

• 在不进行繁重特征工程的前提下，使用句子编码方法来动机化并解决文本蕴含识别（RTE），采用句子编码方法。
• 提出两阶段句子编码：首先通过对词级 biLSTM 输出的平均池化得到第一阶段句子向量，然后对同一句子进行内部注意力细化。
• 使用权重共享的孪生句子编码器和匹配模块，将蕴含、矛盾或中性进行分类。
• 引入输入修改策略以在保持轻量模型的同时进一步提升性能。

提出的方法

• 对每个句子进行两阶段编码：(i) 对词级 biLSTM 输出进行平均池化以得到第一阶段句子向量，(ii) 使用第一阶段向量应用内部注意力机制以对同一句子中的单词进行注意，从而获得细化表示。
• 对前提和假设编码器使用权重共享的孪生结构；将两个句子表示组合成一个关系向量。
• 在句子表示上应用三种匹配操作：串联、逐元素乘积和逐元素差分，随后对非线性投影进行 Softmax 分类。
• 对内部注意力进行计算，其中 Y 为 biLSTM 输出，R_ave 为均值池化得到的向量，注意力计算为 M = tanh(W^y Y + W^h (R_ave ⊗ e_L))；α = softmax(w^T M)；R_att = Y α^T。
• 探索四种输入策略（Original、Inverting Premises、Doubling Premises、Doubling Hypothesis、Differentiating Inputs）并报告它们对准确率的影响。
• 在 SNLI 上训练，使用交叉熵损失、小批量 SGD（RMSProp）、 dropout（0.25），并在训练期间固定 GloVe 300D 词向量；在 Keras 中实现。

实验结果

研究问题

• RQ1 仅对句子本身进行内部注意力是否能够在不使用跨句注意力的情况下改进基于句子编码的NLI模型？
• RQ2 提出的内部注意力与标准均值池化编码器及其他基线在 SNLI 上的比较如何？
• RQ3 输入修改策略是否还能在轻量级句子编码模型上提升性能？
• RQ4 该方法中模型规模（参数数量）对准确率的影响如何？

主要发现

模型	参数	测试准确率。
LSTM enc	3.0M	80.6%
GRU enc	15M	81.4%
TBCNN enc	3.5M	82.1%
SPINN enc	3.7M	83.2%
Basic model	2.0M	83.3%
+ Inner-Attention	2.8M	84.2%
+ Diversing Input	2.8M	85.0%
Static-Attention	242K	82.4%
WbW-Attention	252K	83.5%

• 内部注意力机制将 SNLI 测试准确率从 83.3%（基本模型）提升至 84.2%（使用内部注意力）。
• 对输入进行区分处理进一步提升到 83.72%（并且与内部注意力结合时，报道可达到 85.0%）。
• 提出的带有内部注意力和输入策略的模型在参数更少的情况下，超越了若干前沿句子编码基线（如 LSTM/GRU 编码器、TBCNN、SPINN）。
• 总体而言，最佳单配置（Diversing Input）在 SNLI 上达到 85.0% 的测试准确率，超过了可比的句子编码模型。
• 内部注意力倾向于为内容词（名词、动词、形容词）赋予更高权重，从而产生更聚焦的句子表示。