[论文解读] Cross-language Learning with Adversarial Neural Networks: Application to Community Question Answering

Shafiq Joty, Preslav Nakov+2 more|arXiv (Cornell University)|Jun 21, 2017

Topic Modeling参考文献 46被引用 13

一句话总结

本文提出跨语言对抗神经网络（CLANN），仅使用标注的英文数据和未标注的阿拉伯语文本，将基于英文的问答相似度重排序模型迁移至阿拉伯语。通过对抗性训练共享表征，使其在跨语言间保持不变，同时仍具备相似度分类的判别能力，CLANN在非对抗基线模型上取得显著性能提升，达到与强监督单语系统相当的性能。

ABSTRACT

We address the problem of cross-language adaptation for question-question similarity reranking in community question answering, with the objective to port a system trained on one input language to another input language given labeled training data for the first language and only unlabeled data for the second language. In particular, we propose to use adversarial training of neural networks to learn high-level features that are discriminative for the main learning task, and at the same time are invariant across the input languages. The evaluation results show sizable improvements for our cross-language adversarial neural network (CLANN) model over a strong non-adversarial system.

研究动机与目标

• 解决在社区问答中仅存在源语言（英文）标注数据、目标语言（阿拉伯语）仅有未标注数据的跨语言适应问题。
• 探究对抗性训练是否可在无需平行训练数据的情况下，提升神经网络在跨语言任务中的泛化能力。
• 构建统一的跨语言表征，使其在相似度分类任务中具备判别性，同时对语言特异性差异保持不变。
• 评估对抗性训练在无监督和半监督设置下对跨语言NLP任务的有效性。
• 证明对抗学习可有效将高资源语言（英文）的知识迁移至低资源语言（阿拉伯语）的问答相似度排序任务中。

提出的方法

• 将领域对抗神经网络（DANN）框架适配至跨语言设置，其中语言判别器用于区分源语言（英文）和目标语言（阿拉伯语）输入。
• 训练一个共享特征提取器，生成对语言不变的高层表征，同时保持对问答对相似度分类任务的判别能力。
• 在反向传播过程中使用梯度反转，使特征提取器对语言判别器具有对抗性，从而鼓励学习领域不变表征。
• 将跨语言词嵌入输入前馈神经网络，主分类器与语言判别器共享最后几层。
• 通过引入目标语言的标注样本，将模型扩展至半监督设置，实现对源语言标注数据、目标语言标注数据和未标注目标语言数据的联合训练。
• 训练语言判别器以区分源语言标注样本、目标语言标注样本和未标注目标语言样本，对每类样本使用独立的监督信号。

实验结果

研究问题

• RQ1 对抗性训练能否有效学习到对语言不变但对问答相似度分类仍具判别性的跨语言表征？
• RQ2 当仅使用未标注目标语言数据时，CLANN模型相较于非对抗基线模型的性能表现如何？
• RQ3 在半监督设置下，引入少量目标语言标注数据能在多大程度上进一步提升性能？
• RQ4 CLANN框架在不同迁移方向（如英-阿与阿-英）上是否具有良好的泛化能力？
• RQ5 在跨语言设置中，对抗性训练能否实现与使用完整标注数据训练的单语系统相当的性能？

主要发现

• 在半监督训练设置下，使用50%的标注数据和未标注阿拉伯语样本，CLANN在英-阿迁移方向的MAP得分达到76.65，显著高于非对抗FNN基线模型的74.69。
• 在英-阿方向，CLANN-semisup模型将MRR从83.79提升至84.52，AvgRec从88.16提升至90.84，表明在所有评估指标上均实现一致提升。
• 即使在无监督设置（仅使用未标注阿拉伯语数据）下，CLANN仍显著优于非对抗FNN模型，证明了对抗性训练在无任何目标语言标注数据情况下的有效性。
• 采用半监督训练的CLANN模型性能非常接近全监督基线模型，表明该框架能有效利用目标语言中有限的标注数据。
• 模型在两种迁移方向（en-ar 和 ar-en）上均表现出强大的泛化能力，证实了所学习跨语言表征的对称性与鲁棒性。
• 结果表明，对抗性训练可成功实现从高资源语言到低资源语言的知识迁移，在问答相似度排序任务中达到与最先进单语系统相当的性能。