[论文解读] Learning to Transfer: Unsupervised Meta Domain Translation

Jianxin Lin, Yijun Wang+2 more|arXiv (Cornell University)|Jun 1, 2019

Cancer-related molecular mechanisms research参考文献 32被引用 5

一句话总结

本文提出元迁移GAN（MT-GAN），一种元学习框架，通过学习可泛化的模型初始化，实现仅用极少数据即可快速适应新的无监督域迁移任务。通过联合训练元生成器和元判别器，并结合对抗性学习与对偶学习及循环一致性正则化，MT-GAN在少样本域迁移任务中达到最先进性能，即使每个域仅有5–10个训练样本，也优于CycleGAN和StarGAN。

ABSTRACT

Unsupervised domain translation has recently achieved impressive performance with Generative Adversarial Network (GAN) and sufficient (unpaired) training data. However, existing domain translation frameworks form in a disposable way where the learning experiences are ignored and the obtained model cannot be adapted to a new coming domain. In this work, we take on unsupervised domain translation problems from a meta-learning perspective. We propose a model called Meta-Translation GAN (MT-GAN) to find good initialization of translation models. In the meta-training procedure, MT-GAN is explicitly trained with a primary translation task and a synthesized dual translation task. A cycle-consistency meta-optimization objective is designed to ensure the generalization ability. We demonstrate effectiveness of our model on ten diverse two-domain translation tasks and multiple face identity translation tasks. We show that our proposed approach significantly outperforms the existing domain translation methods when each domain contains no more than ten training samples.

研究动机与目标

• 解决现有无监督域迁移模型在任务间缺乏泛化能力、且在无完整微调的情况下无法适应新领域的问题。
• 通过利用先前任务的学习经验，实现对新域迁移任务的快速适应，模仿人类的少样本学习能力。
• 开发一种元学习框架，联合优化元生成器和元判别器，以实现对多样化域迁移任务的鲁棒初始化。
• 通过从先前任务中学习有效的适应策略，提升低数据场景下的收敛速度与性能。

提出的方法

• MT-GAN采用元学习范式，利用模型无关元学习（MAML）来学习多个域迁移任务中生成器与判别器的共享初始化。
• 在每次元训练迭代中，模型利用当前生成器与判别器状态合成一个对偶迁移任务，实现在源域与目标域之间的对偶学习。
• 设计了循环一致性元优化目标，通过最小化元测试样本上的期望损失，确保微调后的模型能良好泛化到未见任务。
• 该框架结合对抗性训练与循环一致性，其中生成器学习在域之间迁移图像，而判别器则区分真实图像与生成图像。
• 元优化过程通过最小化元测试数据上的期望损失来更新元参数，从而促进快速收敛与泛化。
• 该方法在多样化的双域任务和人脸身份迁移任务上进行训练，并在少样本设置（每个域1–10个样本）下进行评估。

实验结果

研究问题

• RQ1 在每个域仅有少量样本的情况下，元学习是否能提升无监督域迁移中的泛化能力？
• RQ2 所提出的MT-GAN框架在少样本域迁移中与标准GAN模型（如CycleGAN和StarGAN）相比表现如何？
• RQ3 元学习得到的初始化是否能加快在新域迁移任务上的微调收敛速度？
• RQ4 随着训练样本数量增加，模型性能在多大程度上趋于饱和？与标准模型相比，在高样本量场景下的表现如何？

主要发现

• 在十个多样化的双域迁移任务中，包括照片转艺术家风格、夏季转冬季、标签转照片等，MT-GAN即使每个域仅有5–10个训练样本，也显著优于CycleGAN和StarGAN。
• 在人脸身份迁移任务中，MT-GAN在10-shot训练下达到21.12%的top-1准确率，而CycleGAN为19.04%，表明在少样本设置下持续提升。
• 模型收敛更快，表现为早期训练步骤中循环一致性损失下降更迅速，且最终损失值更低，优于CycleGAN。
• 与CycleGAN相比，MT-GAN在训练不稳定（如GAN模式崩溃）时恢复得更快，表明其从先前任务中学到了更鲁棒的适应策略。
• 相较于CycleGAN的性能提升随样本数量增加而减弱——例如，10-shot时提升2.08%，25-shot时仅提升0.41%，表明元学习在低数据场景下收益最大。
• 模型能良好泛化到未见任务，元学习初始化使在新域对上进行有效微调成为可能，前提是已在多样化源任务上进行过训练。