[论文解读] A Cross-Domain Transferable Neural Coherence Model

Peng Xu, Hamidreza Saghir+5 more|arXiv (Cornell University)|May 28, 2019

Topic Modeling参考文献 26被引用 5

一句话总结

本文提出一种局部判别性神经连贯性模型，通过聚焦于相邻句子对而非完整段落，实现了更有效的负样本采样和强大的跨领域泛化能力。尽管是判别性模型，但通过结合局部连贯性建模与生成式预训练，在同领域（华尔街日报）和开放领域（维基百科）基准上均取得了优越性能。

ABSTRACT

Coherence is an important aspect of text quality and is crucial for ensuring its readability. One important limitation of existing coherence models is that training on one domain does not easily generalize to unseen categories of text. Previous work advocates for generative models for cross-domain generalization, because for discriminative models, the space of incoherent sentence orderings to discriminate against during training is prohibitively large. In this work, we propose a local discriminative neural model with a much smaller negative sampling space that can efficiently learn against incorrect orderings. The proposed coherence model is simple in structure, yet it significantly outperforms previous state-of-art methods on a standard benchmark dataset on the Wall Street Journal corpus, as well as in multiple new challenging settings of transfer to unseen categories of discourse on Wikipedia articles.

研究动机与目标

• 为解决判别性连贯性模型跨领域泛化能力差的问题，这些模型常因负样本采样有限而在特定领域上过拟合。
• 通过证明判别性模型也能实现与生成模型相当的鲁棒性，挑战仅生成模型能在跨领域上良好泛化的假设。
• 通过将负样本采样空间从全局排列减少到局部句子对，提升判别学习的训练效率和覆盖范围。
• 证明局部连贯性线索（如实体和词汇过渡）能够捕捉全局连贯性的核心要素。
• 通过维基百科的“重写”标志作为文本质量的代理，验证模型预测与人类判断之间的一致性。

提出的方法

• 该模型使用双向Transformer编码器表示相邻句子对，专注于局部连贯性，而非完整段落级别的建模。
• 采用对比学习目标，正样本对为来自同一文档的连续句子对，负样本对通过将第二个句子替换为同一文档中的另一句子形成。
• 为确保不同长度文档的训练均匀性，模型对句子对进行重采样，使每篇文档训练的步数相同。
• 通过在大规模语料上使用掩码语言建模目标进行预训练，增强其在跨领域上的泛化能力。
• 最终的分类头在下游连贯性任务上使用对比损失进行微调，以区分连贯与不连贯的句子对。
• 消融实验证实，双向编码和完整特征表示相较于简单拼接具有更重要的作用。

实验结果

研究问题

• RQ1 判别性连贯性模型是否能在不依赖生成式预训练的情况下实现强大的跨领域泛化？
• RQ2 与完整段落建模相比，建模局部句子对是否能减少负样本采样空间，同时保持全局连贯性建模能力？
• RQ3 生成式预训练在多大程度上提升了判别性局部连贯性模型的性能？
• RQ4 模型的连贯性得分与人类对文本质量的判断（以维基百科的“重写”标志为指标）的相关性如何？
• RQ5 负样本采样覆盖度是否在某一阈值后出现收益递减？当前采样策略是否足以实现有效训练？

主要发现

• 所提出的局部判别性模型在CelestialBody数据集上达到81.31%的准确率，在Wiki-WSJ上达到82.23%，显著优于先前的SOTA方法。
• 在华尔街日报基准上，该模型优于先前的SOTA方法，展现出强大的同领域性能。
• 该模型表现出强大的跨领域泛化能力，在未见过类别的维基百科文章上表现良好，包括高领域多样性的文章。
• 消融实验表明，若移除双向编码或完整特征表示，性能会下降，证实了这些组件的重要性。
• 模型的连贯性得分与维基百科的“重写”标志存在统计显著相关性（p = 0.008），针对典型长度文章（2,000–6,000字符），被标记为“重写”的文章连贯性显著更低（0.56 vs. 0.79）。
• 对于更长的文章（8,000–14,000字符），连贯性差距较小（0.60 vs. 0.64），且无统计显著性（p = 0.250），表明在长文本中部分不连贯或风格因素可能占主导地位。