[论文解读] Graph-based Neural Sentence Ordering

Yongjing Yin, Linfeng Song+4 more|arXiv (Cornell University)|Dec 16, 2019

Topic Modeling参考文献 21被引用 7

一句话总结

该论文提出了一种基于图的神经句子排序模型，通过构建句子-实体图来捕捉通过共享实体实现的语义连贯性，并使用图循环网络（GRN）编码依赖关系。该模型在基准数据集上的表现优于先前的最先进系统，通过减少无关句子对带来的噪声，并有效利用实体信息以提升连贯性建模效果。

ABSTRACT

Sentence ordering is to restore the original paragraph from a set of sentences. It involves capturing global dependencies among sentences regardless of their input order. In this paper, we propose a novel and flexible graph-based neural sentence ordering model, which adopts graph recurrent network \cite{Zhang:acl18} to accurately learn semantic representations of the sentences. Instead of assuming connections between all pairs of input sentences, we use entities that are shared among multiple sentences to make more expressive graph representations with less noise. Experimental results show that our proposed model outperforms the existing state-of-the-art systems on several benchmark datasets, demonstrating the effectiveness of our model. We also conduct a thorough analysis on how entities help the performance.

研究动机与目标

• 解决现有句子排序模型依赖全连接图且缺乏对实体级别信息灵活建模的局限性。
• 通过利用共享实体构建更具表现力且更少噪声的图表示，提升段落连贯性建模效果。
• 探索图循环网络（GRN）在句子排序中的有效性，特别是在捕捉长距离依赖和语义转换方面。
• 证明实体信息在句子排序任务中显著提升性能与鲁棒性。

提出的方法

• 构建一个句子-实体图，其中节点代表句子和实体，边连接共享同一实体的句子与实体，以及共享实体的句子之间。
• 采用图循环网络（GRN）在相连节点间执行语义转换，并使用段落级节点聚合全局上下文信息。
• 为句子节点和实体节点引入独立的参数化方式，以区分其在编码过程中的角色。
• 使用指针网络解码器，基于最终的段落表示预测正确的句子顺序。
• 通过引入实体共现信息对GRN进行优化，以减少不连贯句子对带来的噪声。
• 实施消融研究，评估边标签、实体移除以及参数共享的影响。

实验结果

研究问题

• RQ1 基于共享实体的图神经模型是否能在句子排序任务中超越全连接图模型？
• RQ2 整合实体级别信息在多大程度上改善了段落连贯性的建模？
• RQ3 基于实体共现的图结构相较于全连接连接，在减少噪声方面效果如何？
• RQ4 与参数共享相比，为句子和实体节点使用独立参数是否能提升性能？
• RQ5 当实体抽取存在噪声（如解析不完善）时，该模型对噪声的鲁棒性如何？

主要发现

• 所提模型在arXiv摘要数据集上达到58.91%的准确率和44.33%的PMR，表现达到最先进水平，优于先前的SOTA模型ATTOrderNet。
• 移除50%的实体导致性能显著下降，表明实体信息对模型有效性至关重要。
• 仅使用句子级图（S-Graph）的模型变体仍优于ATTOrderNet，表明GRN本身具备强大性能，即使无实体信息亦然。
• 句子与实体节点之间的参数共享导致性能急剧下降，证实了对不同类型节点进行独立建模的必要性。
• 模型对10%的实体移除和边标签随机化表现出鲁棒性，表明其对轻微解析噪声具有抗性。
• 消融研究证实，基于实体的图构建方式相比全连接图能有效减少噪声并提升性能。