[论文解读] Generating Natural Language Inference Chains

Vladyslav Kolesnyk, Tim Rocktäschel+1 more|arXiv (Cornell University)|Jun 4, 2016

Topic Modeling参考文献 17被引用 13

一句话总结

该论文通过在SNLI语料库的蕴含对上微调一个注意力增强的LSTM，提出了一项新颖的任务——生成自然语言蕴含链。该模型在生成正确蕴含句子方面达到了82%的准确率，实现了可解释的蕴含链生成和逆向生成以用于数据增强，并在分布外文本上表现出强大的泛化能力。

ABSTRACT

The ability to reason with natural language is a fundamental prerequisite for many NLP tasks such as information extraction, machine translation and question answering. To quantify this ability, systems are commonly tested whether they can recognize textual entailment, i.e., whether one sentence can be inferred from another one. However, in most NLP applications only single source sentences instead of sentence pairs are available. Hence, we propose a new task that measures how well a model can generate an entailed sentence from a source sentence. We take entailment-pairs of the Stanford Natural Language Inference corpus and train an LSTM with attention. On a manually annotated test set we found that 82% of generated sentences are correct, an improvement of 10.3% over an LSTM baseline. A qualitative analysis shows that this model is not only capable of shortening input sentences, but also inferring new statements via paraphrasing and phrase entailment. We then apply this model recursively to input-output pairs, thereby generating natural language inference chains that can be used to automatically construct an entailment graph from source sentences. Finally, by swapping source and target sentences we can also train a model that given an input sentence invents additional information to generate a new sentence.

研究动机与目标

• 为了解决NLP系统在仅存在单源句子的真实任务中依赖句子对的局限性。
• 开发一个能够从单个前提句子生成蕴含假设的序列到序列模型。
• 通过递归生成蕴含句子，构建可解释的自然语言蕴含链。
• 通过在训练期间交换输入和输出角色，探索逆向生成——生成更具描述性的句子。
• 评估模型在分布外文本上的泛化能力，以及其在下游NLP任务中用于数据增强的潜力。

提出的方法

• 在SNLI语料库的蕴含对上微调一个基于LSTM的序列到序列模型，使用word2vec预训练词嵌入。
• 应用加性注意力机制，帮助解码器关注相关编码器状态，从而改善长距离依赖建模。
• 使用Adam优化算法进行训练，配合梯度裁剪，并在25个周期后启用早停策略。
• 通过递归地将模型输出作为输入反馈，直到检测到循环，生成蕴含链。
• 在训练期间反转输入与输出角色，以学习逆向生成——从一般句子生成更具体句子。
• 通过聚合蕴含链构建蕴含图，其中共享语义汇聚到共同的根句子。

实验结果

研究问题

• RQ1 序列到序列模型能否以高准确率从单个前提生成正确蕴含的句子？
• RQ2 通过递归生成蕴含句子能否形成连贯且可解释的自然语言蕴含链？
• RQ3 该模型能否泛化到SNLI语料库之外的分布外文本？
• RQ4 通过反转训练目标，能否使模型从一般句子生成更具体或更具描述性的句子？
• RQ5 生成的蕴含链能否用于构建捕捉共享语义意义的有意义蕴含图？

主要发现

• 在人工标注的测试集上，该模型在生成正确蕴含句子方面达到了82%的准确率，比基线LSTM高出10.3%。
• 尽管BLEU分数仅显示注意力机制带来微小提升，但人工评估确认注意力显著提升了事实正确性和推理质量。
• 该模型成功生成了可解释的蕴含链，这些链收敛于共享的语义意义，展示了对自然语言的稳健推理能力。
• 从蕴含链构建的蕴含图揭示了语义相关句子的聚类以及长串的逻辑推理链。
• 逆向生成——即在反转的前提-假设对上进行训练——生成了合理且更具体的句子，表明其在数据增强方面的实用性。
• 该模型在分布外文本上泛化良好，包括维基百科、新闻文章和科技文本，表明其具有广泛的应用潜力。