[论文解读] End-to-End Neural Sentence Ordering Using Pointer Network

Jingjing Gong, Xinchi Chen+2 more|arXiv (Cornell University)|Nov 15, 2016

Topic Modeling参考文献 17被引用 50

一句话总结

该论文提出了一种基于指针网络（Ptr-Net）的端到端神经句子排序模型，可直接从一组打乱的句子中预测句子顺序，利用上下文信息并消除流水线方法中的误差传播。该模型即使在贪婪解码下也实现了最先进性能，并在面对嘈杂、无关的句子时表现出强大的鲁棒性。

ABSTRACT

Sentence ordering is one of important tasks in NLP. Previous works mainly focused on improving its performance by using pair-wise strategy. However, it is nontrivial for pair-wise models to incorporate the contextual sentence information. In addition, error prorogation could be introduced by using the pipeline strategy in pair-wise models. In this paper, we propose an end-to-end neural approach to address the sentence ordering problem, which uses the pointer network (Ptr-Net) to alleviate the error propagation problem and utilize the whole contextual information. Experimental results show the effectiveness of the proposed model. Source codes and dataset of this paper are available.

研究动机与目标

• 解决成对模型在句子排序中的局限性，如上下文建模能力差以及流水线策略中的误差传播问题。
• 开发一种端到端神经方法，联合建模所有句子以提高排序准确性。
• 通过在输入集合中引入无关的噪声句子来评估模型的鲁棒性。
• 证明模型能够有效识别并丢弃无关句子，同时正确排序其余连贯的句子。

提出的方法

• 使用指针网络（Ptr-Net）通过同时关注所有输入句子来生成最优句子顺序，而非依赖成对比较。
• 采用编码器-解码器架构，结合双向LSTM对句子表示进行编码，并逐步生成顺序预测。
• 应用软注意力机制，计算在每个解码步骤中选择每个句子的概率，使用与查询相关的上下文向量。
• 通过CBoW、CNN或LSTM对句子进行编码，以处理可变长度输入句子，并生成固定大小的向量表示。
• 采用贪婪解码和束搜索策略生成候选句子顺序，束搜索显著提升了性能。
• 引入一种新颖的评估设置，即输入集合中包含0、1个或0/1个噪声句子，以测试模型在标准基准之外的鲁棒性。

实验结果

研究问题

• RQ1 端到端神经模型是否能通过利用完整上下文信息，在句子排序任务中超越现有成对模型？
• RQ2 与基于流水线的方法相比，所提出的基于Ptr-Net的模型是否能减少误差传播？
• RQ3 当输入集合中存在无关或噪声句子时，模型的鲁棒性如何？
• RQ4 即使采用贪婪解码，模型是否仍能保持高性能，还是束搜索对最优结果至关重要？
• RQ5 当正确顺序的黄金标准出现在束中时，模型恢复正确句子顺序的潜力有多大？

主要发现

• 所提出的模型在两个基准数据集（arXiv和SIND）上实现了最先进性能，即使在贪婪解码下也优于先前的成对模型。
• 在arXiv数据集上无噪声句子的情况下，束大小为8时PMR达到69.03%，束大小为64时达到82.78%，表明其在重排序方面具有强大潜力。
• 模型表现出高度鲁棒性：在1个噪声和0/1个噪声情况下均保持强劲性能，其中0/1个噪声情况最具挑战性，因指标趋势不一致。
• 在SIND数据集（5个句子的文本）上的表现与arXiv相当，束大小为64时PMR达到94.01%，表明模型不偏向短文本。
• 模型在束中将黄金标准排在高位的能力（如束大小为64时PMR达82.78%）表明其对正确排序具有高度置信。
• 结果证实，模型能有效丢弃噪声句子，并正确排序剩余的连贯句子，尤其在束搜索下表现更优。