[论文解读] Augmented Cyclic Adversarial Learning for Domain Adaptation.

Ehsan Hosseini-Asl, Yingbo Zhou+2 more|arXiv (Cornell University)|Jul 1, 2018

Speech Recognition and Synthesis参考文献 33被引用 4

一句话总结

该论文提出了一种增强型循环对抗学习框架，通过任务特定模型而非精确重建来强制实现循环一致性，从而在低资源域自适应中保留与任务相关的内容。在数字分类任务中实现了14%的绝对准确率提升，在语音识别任务中实现了2%的性能改进，优于使用少量目标数据的高资源无监督方法。

ABSTRACT

Training a model to perform a task typically requires a large amount of data from the domains in which the task will be applied. However, it is often the case that data are abundant in some domains but scarce in others. Domain adaptation deals with the challenge of adapting a model trained from a data-rich source domain to perform well in a data-poor target domain. In general, this requires learning plausible mappings between domains. CycleGAN is a powerful framework that efficiently learns to map inputs from one domain to another using adversarial training and a cycle-consistency constraint. However, the conventional approach of enforcing cycle-consistency via reconstruction may be overly restrictive in cases where one or more domains have limited training data. In this paper, we propose an augmented cyclic adversarial learning model that enforces the cycle-consistency constraint via an external task specific model, which encourages the preservation of task-relevant content as opposed to exact reconstruction. We explore digit classification in a low-resource setting in supervised, semi and unsupervised situation, as well as high resource unsupervised. In low-resource supervised setting, the results show that our approach improves absolute performance by 14% and 4% when adapting SVHN to MNIST and vice versa, respectively, which outperforms unsupervised domain adaptation methods that require high-resource unlabeled target domain. Moreover, using only few unsupervised target data, our approach can still outperforms many high-resource unsupervised models. In speech domains, we similarly adopt a speech recognition model from each domain as the task specific model. Our approach improves absolute performance of speech recognition by 2% for female speakers in the TIMIT dataset, where the majority of training samples are from male voices.

研究动机与目标

• 解决在标注数据稀缺的低资源目标域中的域自适应问题。
• 克服传统循环一致性方法强制精确重建所带来的局限性，后者可能扭曲与任务相关的特征。
• 在监督、半监督和无监督域自适应设置中，仅使用极少目标数据，提升模型泛化能力。
• 探索任务特定模型在引导循环一致性方面超越重建任务的潜力。
• 与高资源无监督基线方法相比，展示在低资源场景下的最先进性能。

提出的方法

• 用任务特定模型替代标准的循环一致性损失，以指导域迁移，同时保留下游任务相关的特征内容。
• 采用对抗训练学习域到域的映射，确保源域与目标域之间翻译的真实性。
• 引入一个外部任务特定模型（如分类器或自动语音识别模型）来监督循环一致性约束，聚焦于语义保留而非像素级精确重建。
• 将该框架应用于图像（SVHN 到 MNIST）和语音（TIMIT）领域，在低资源条件下实现模型迁移。
• 通过对抗损失、基于任务模型的循环一致性以及任务特定损失的组合来优化生成器。
• 采用两阶段训练流程：首先预训练任务特定模型，然后联合训练带有任务感知循环约束的 cycle-GAN。

实验结果

研究问题

• RQ1 用任务特定监督替代基于重建的循环一致性，是否能提升低资源设置下的域自适应性能？
• RQ2 当仅有少量标注目标样本时，所提方法与高资源无监督域自适应基线方法相比表现如何？
• RQ3 在数字分类和语音识别任务中，任务特定内容保留在多大程度上提升了性能？
• RQ4 当目标域的训练样本数量显著少于源域时，该方法是否仍保持鲁棒性？
• RQ5 该框架能否在低资源自适应条件下跨不同模态（如图像与语音）实现泛化？

主要发现

• 在低资源监督设置下，将 SVHN 迁移到 MNIST 时，该方法使分类准确率提升了 14%。
• 在将 MNIST 迁移到 SVHN 时，实现了 4% 的绝对准确率提升，优于高资源无监督域自适应方法。
• 仅使用少量无标注目标样本，该模型在性能上超越了众多高资源无监督域自适应模型。
• 在 TIMIT 数据集上，对于以男性语音为主导的训练数据，该方法使女性说话人的语音识别准确率提升了 2%。
• 使用任务特定模型实现循环一致性，相比标准重建方法，能更好地保留判别性特征。
• 该框架在低资源自适应条件下，展现出在视觉与语音领域均具备强大的泛化能力。