[论文解读] Chinese Discourse Segmentation Using Bilingual Discourse Commonality

Jingfeng Yang, Sujian Li|arXiv (Cornell University)|Aug 30, 2018

Natural Language Processing Techniques参考文献 40被引用 6

一句话总结

本文提出了一种用于中文话语分割的跨语言对抗神经网络框架，利用英语标注的话语数据来克服中文标注数据稀缺的问题。通过对抗训练挖掘双语话语共性，模型学习共享的与语言无关的特征以及语言特定的表征，即使在中文训练数据有限的情况下也实现了最先进性能。

ABSTRACT

Discourse segmentation aims to segment Elementary Discourse Units (EDUs) and is a fundamental task in discourse analysis. For Chinese, previous researches identify EDUs just through discriminating the functions of punctuations. In this paper, we argue that Chinese EDUs may not end at the punctuation positions and should follow the definition of EDU in RST-DT. With this definition, we conduct Chinese discourse segmentation with the help of English labeled data.Using discourse commonality between English and Chinese, we design an adversarial neural network framework to extract common language-independent features and language-specific features which are useful for discourse segmentation, when there is no or only a small scale of Chinese labeled data available. Experiments on discourse segmentation demonstrate that our models can leverage common features from bilingual data, and learn efficient Chinese-specific features from a small amount of Chinese labeled data, outperforming the baseline models.

研究动机与目标

• 解决用于初级话语单元（EDU）分割的高质量、符合RST标准的中文话语标注数据不足的问题。
• 主张中文EDU不应仅受限于标点符号边界，而应遵循与RST-DT中类似的语义和句法标准。
• 开发一种方法，将丰富的英语标注数据中的话语知识迁移至低资源的中文话语分割任务中。
• 设计一种框架，通过对抗训练联合学习与语言无关的共性特征和语言特定的特征。
• 评估跨语言话语共性在提升中文EDU分割性能方面的有效性。

提出的方法

• 设计了一个对抗神经网络框架，包含一个共享的BiLSTM用于提取与语言无关的特征，以及两个独立的BiLSTM用于学习语言特定的特征。
• 应用语言对抗训练，以分离共享的话语模式与语言特定的特征，从而实现从英语到中文的知识迁移。
• 使用通用词性标签作为输入嵌入，以增强跨语言对齐性，并提升跨语言间的可迁移性。
• 模型在英语话语数据上进行端到端训练，并在小规模中文语料上通过序列标注设置进行微调。
• 该框架将话语分割视为序列标注任务，在BiLSTM输出上添加CRF层以预测EDU边界。
• 引入语言判别器以强制共享特征的领域不变性，确保模型学习到与话语结构相关而非语言特异性的特征。

实验结果

研究问题

• RQ1 在缺乏大规模标注数据的情况下，能否有效利用英语与中文之间的话语共性来提升中文EDU分割性能？
• RQ2 通过对抗训练提取的与语言无关的特征是否对中文话语分割性能有实质性贡献？
• RQ3 与语言特定的词性标签相比，使用通用词性标签在跨语言话语特征学习中是否更有效？
• RQ4 随着中文标注数据量的增加，模型性能如何变化？
• RQ5 该模型能否超越仅依赖单语或非对抗性跨语言学习的基线方法？

主要发现

• 所提出的模型在中文话语分割任务上优于基线模型，证明了通过对抗特征学习利用英语标注数据的有效性。
• 即使仅使用200句中文训练数据，模型也实现了显著的性能提升，表明其具有强大的数据效率。
• 使用通用词性标签的性能优于使用语言特定的词性标签集，证实了其在跨语言话语建模中的价值。
• 完整模型与NoAdvers变体之间的性能差距表明，共享的与语言无关的特征对分割准确率有实质性贡献。
• 随着中文训练数据的增加，模型性能持续提升，表明该模型能随着更多标注数据有效扩展。