[论文解读] Learning to Generalize: Meta-Learning for Domain Generalization

Da Li, Yongxin Yang+2 more|arXiv (Cornell University)|Oct 10, 2017

Domain Adaptation and Few-Shot Learning参考文献 26被引用 113

一句话总结

本文提出一种与模型无关的元学习过程（MLDG），通过在每个小批量中模拟训练-测试域转移，使模型能够在未见域上实现泛化，适用于监督学习和强化学习。

ABSTRACT

Domain shift refers to the well known problem that a model trained in one source domain performs poorly when applied to a target domain with different statistics. {Domain Generalization} (DG) techniques attempt to alleviate this issue by producing models which by design generalize well to novel testing domains. We propose a novel {meta-learning} method for domain generalization. Rather than designing a specific model that is robust to domain shift as in most previous DG work, we propose a model agnostic training procedure for DG. Our algorithm simulates train/test domain shift during training by synthesizing virtual testing domains within each mini-batch. The meta-optimization objective requires that steps to improve training domain performance should also improve testing domain performance. This meta-learning procedure trains models with good generalization ability to novel domains. We evaluate our method and achieve state of the art results on a recent cross-domain image classification benchmark, as well demonstrating its potential on two classic reinforcement learning tasks.

研究动机与目标

• 将域泛化（DG）作为域自适应的更难但更具鲁棒性的替代方案的动机，测试时不依赖目标数据。
• 引入一个模型无关的元学习过程（MLDG）以提高对未见域的泛化。
• 提供一个基于梯度的优化框架，可应用于任何基学习器以及监督学习和强化学习。
• 在跨域图像识别基准上展示最先进的结果，并在经典强化学习任务上显示出有希望的结果。

提出的方法

• 在每个小批量内将源域拆分为元训练和元测试组，以模拟域转移。
• 在元训练域上用更新后的参数 Theta' 计算元训练损失 F，在元测试域上计算元测试损失 G，G 在对 F 的梯度步之后的 Theta' 上进行评估。
• 优化 Theta 以最小化 F + beta * G，其中 G 在 Theta - alpha * grad_theta F 上评估，确保训练域的改进与测试域的改进对齐。
• 将相同的元学习框架应用到强化学习中，其中域转移对应于不同环境，使用策略梯度（REINFORCE）或Q学习作为基学习器。
• 通过泰勒展开提供理论直觉，显示 F' 与 G' 的对齐作为协调改进的驱动因素。
• 可选地包括强调梯度方向对齐或梯度范数的变体（MLDG-GC，MLDG-GN）。”

实验结果

研究问题

• RQ1 一个模型无关的元学习过程是否能够在测试期间不访问目标域数据的情况下改善域泛化？
• RQ2 在小批量内模拟训练-测试域转移是否能使梯度在训练和未见域之间对齐，从而实现更好的越域表现？
• RQ3 该方法在监督学习和强化学习设置下是否都有效？
• RQ4 与将源域聚合以及其他 DG 方法相比，MLDG 在跨域基准测试上的表现如何？
• RQ5 将 MLDG 应用到现实世界域转移场景时有哪些实际意义和局限性？

主要发现

• 在跨域图像识别基准（PACS）上，MLDG 相较于若干基线达到了最先进的结果。
• 将 MLDG 应用到强化学习任务（Cart-Pole 和 Mountain Car）可在多样化环境中提升域泛化。
• 在卷积神经网络（CNN）中端到端的 MLDG 比仅应用于最终层的效果更显著，表明元优化的重要性。
• 强调梯度对齐（MLDG-GC）或梯度范数（MLDG-GN）的变体在不同任务上收益不同，通常 vanilla MLDG 表现最好。
• 该方法仍然是模型无关且可扩展的，与许多基于模型的 DG 方法不同，不需要额外的与域数量相关的参数。