[论文解读] Improving Context Modeling in Neural Topic Segmentation

Linzi Xing, Brad Hackinen+2 more|arXiv (Cornell University)|Oct 7, 2020

Topic Modeling参考文献 41被引用 8

一句话总结

该论文提出了一种神经主题分割模型，通过引入与连贯性相关的辅助任务以及受限自注意力机制，增强了局部上下文感知能力，从而改善了上下文建模。该方法在三个数据集上显著优于当前最先进（SOTA）模型，在领域迁移任务中表现出强鲁棒性，并在德语和中文中有效泛化，跨语言和设置均保持一致的性能提升。

ABSTRACT

Topic segmentation is critical in key NLP tasks and recent works favor highly effective neural supervised approaches. However, current neural solutions are arguably limited in how they model context. In this paper, we enhance a segmenter based on a hierarchical attention BiLSTM network to better model context, by adding a coherence-related auxiliary task and restricted self-attention. Our optimized segmenter outperforms SOTA approaches when trained and tested on three datasets. We also the robustness of our proposed model in domain transfer setting by training a model on a large-scale dataset and testing it on four challenging real-world benchmarks. Furthermore, we apply our proposed strategy to two other languages (German and Chinese), and show its effectiveness in multilingual scenarios.

研究动机与目标

• 解决当前神经主题分割模型在有效建模局部上下文方面的局限性，尤其是由于过度依赖RNN带来的长距离依赖问题。
• 提升模型在训练与测试数据分布不同的领域迁移场景下的鲁棒性。
• 评估所提出的上下文建模策略在英语以外多语言设置下的有效性。
• 通过显式建模句子级连贯性和局部句子间交互，进一步提升性能。

提出的方法

• 引入与连贯性相关的辅助任务，促使同一主题段落内句子表示的相似度更高，而不同段落间句子表示的相似度更低。
• 采用固定大小窗口（k）的受限自注意力机制，将注意力聚焦于相邻的句子，从而改善局部上下文建模。
• 将辅助任务与受限自注意力机制整合进分层注意力BiLSTM网络中，保持SOTA基线模型（Koshorek et al., 2018）的网络架构。
• 通过联合目标函数端到端优化模型：主任务主题分割损失与辅助连贯性损失相结合。
• 使用BiLSTM编码器输出的句子级隐藏状态作为连贯性评分模块的输入，计算相邻句子之间的成对相似度。
• 在多语言设置中采用相同策略，通过在德语和中文维基百科数据集上微调，使用相同的训练与评估协议。

实验结果

研究问题

• RQ1 与连贯性相关的辅助任务是否能通过提升句子表示质量，从而改善神经主题分割器的性能？
• RQ2 受限自注意力机制（将注意力限制在固定局部窗口内）是否在主题分割任务中优于标准自注意力机制，从而实现更好的上下文建模？
• RQ3 当模型在某一数据集上训练并在多样化的真实世界基准上测试时，所提出的上下文建模策略在领域分布偏移情况下的表现如何？
• RQ4 该方法在低资源语言或词形复杂的语言（如德语和中文）中的可迁移性如何？

主要发现

• 在三个领域内数据集上，同时引入辅助任务（AUX）和受限自注意力（RSA）的模型相比最佳基线模型（TextSeg），$P_k$得分平均提升25%。
• 在四个真实世界领域迁移测试集中的三个上，该模型优于所有基线模型，表明其对分布偏移具有强鲁棒性。
• AUX与RSA的结合带来了最大的性能增益，在三个数据集上平均$P_k$得分相比基础模型提升17%。
• 受限自注意力在所有语言（英语、德语、中文）中均持续提升性能，中文中$P_k$误差最高降低0.7分。
• 辅助任务在英语和德语中提升了性能，但在中文中效果有限，可能是因为中文句子短小、碎片化，导致连贯性信号的效用降低。
• 在大规模维基百科数据集上训练的模型能有效泛化到四个多样化的现实世界基准，证实其在低资源和分布外设置下的鲁棒性。