[论文解读] Code-switching Sentence Generation by Generative Adversarial Networks and its Application to Data Augmentation

Ching-Ting Chang, Shun-Po Chuang+1 more|arXiv (Cornell University)|Nov 6, 2018

Topic Modeling参考文献 26被引用 8

一句话总结

本文提出一种基于生成对抗网络（GAN）的方法，通过无监督数据增强从单语文本生成句内代码切换句子，利用对抗学习训练的条件生成器隐式学习代码切换模式，无需依赖语言学规则。该方法通过数据增强显著提升代码切换语言模型性能，其中引入+pos特征的模型在特定领域语料上表现最佳。

ABSTRACT

Code-switching is about dealing with alternative languages in speech or text. It is partially speaker-depend and domain-related, so completely explaining the phenomenon by linguistic rules is challenging. Compared to most monolingual tasks, insufficient data is an issue for code-switching. To mitigate the issue without expensive human annotation, we proposed an unsupervised method for code-switching data augmentation. By utilizing a generative adversarial network, we can generate intra-sentential code-switching sentences from monolingual sentences. We applied proposed method on two corpora, and the result shows that the generated code-switching sentences improve the performance of code-switching language models.

研究动机与目标

• 解决低资源环境下自动语音识别（ASR）和自然语言处理（NLP）任务中代码切换训练数据稀缺的问题。
• 开发一种无监督方法，生成真实感强的句内代码切换句子，无需依赖标注数据或语言学规则。
• 通过使用生成句子进行数据增强，提升代码切换语言模型的性能。
• 评估该方法在具有不同语言特征和领域特性的多样化代码切换语料上的泛化能力。

提出的方法

• 采用条件生成对抗网络（cGAN），其中生成器将单语句子转换为代码切换句子。
• 生成器通过判别器区分真实代码切换句子与生成句子，利用对抗损失提升生成结果的真实性。
• 生成器将词性（POS）标签作为输入特征，以指导更符合上下文的代码切换决策。
• 以单语句子作为输入，生成器有选择地将某些词语或短语替换为客语语言的翻译（例如，中文到英文）。
• 应用强化学习优化生成器的策略，以实现更优的代码切换点选择。
• 通过将原始训练数据与生成的代码切换句子结合，进行数据增强，以训练性能更优的语言模型。

实验结果

研究问题

• RQ1 基于GAN的生成器能否在无需显式语言学规则的情况下，从单语输入生成合理可信的句内代码切换句子？
• RQ2 引入POS特征如何影响生成代码切换句子的质量与实用性？
• RQ3 使用生成的代码切换句子进行数据增强，在多大程度上能提升下游语言建模性能？
• RQ4 所提出的方法在具有不同语言模式和领域特征的多种代码切换语料上是否具备良好的泛化能力？

主要发现

• 引入POS标签的模型（proposed+pos）在SEAME测试集上达到最低困惑度69.185，优于随机基线和基于规则的基线模型。
• 在LectureSS语料上，proposed+pos方法将测试困惑度降低至69.185，相比基线RNNLM（71.974）提升4.1%，相比随机基线（71.779）提升3.0%。
• 该方法在两个不同语料上均表现出良好泛化能力：LectureSS（学术讲座）和SEAME（日常对话），显示出对领域差异的鲁棒性。
• 在LectureSS上，引入POS特征显著提升了性能，因该语料中内容特定名词常被用于代码切换；而在SEAME上，代码切换更具词汇多样性，POS特征的影响较小。
• 即使采用随机的代码切换点选择，困惑度也优于基线模型，表明数据增强本身已具优势，但所提方法带来了更优的性能提升。
• 生成的句子在大多数情况下具有合理的语义表达，但失败案例主要源于中英文翻译质量不佳。