[论文解读] Adversarial target-invariant representation learning for domain generalization

Isabela Albuquerque, João Monteiro+3 more|arXiv (Cornell University)|Nov 3, 2019

Domain Adaptation and Few-Shot Learning被引用 23

一句话总结

本文提出了一种用于领域泛化的对抗性目标不变表示学习方法，通过在共享特征空间中最小化成对领域差异，同时保留与任务相关的信息，使模型能够泛化到未见过的领域。该方法在标准基准和一个真实世界的EEG多被试领域泛化任务中取得了最先进性能。

ABSTRACT

Supervised learning results typically rely on assumptions of i.i.d. data. Unfortunately, those assumptions are commonly violated in practice. In this work, we tackle this problem by focusing on domain generalization: a formalization where the data generating process at test time may yield samples from never-before-seen domains (distributions). Our work relies on a simple lemma: by minimizing a notion of discrepancy between all pairs from a set of given domains, we also minimize the discrepancy between any pairs of mixtures of domains. Using this result, we derive a generalization bound for our setting. We then show that low risk over unseen domains can be achieved by representing the data in a space where (i) the training distributions are indistinguishable, and (ii) relevant information for the task at hand is preserved. Minimizing the terms in our bound yields an adversarial formulation which estimates and minimizes pairwise discrepancies. We validate our proposed strategy on standard domain generalization benchmarks, outperforming a number of recently introduced methods. Notably, we tackle a real-world application where the underlying data corresponds to multi-channel electroencephalography time series from different subjects, each considered as a distinct domain.

研究动机与目标

• 为解决机器学习中的领域偏移问题，即测试数据来自违反独立同分布假设的未见领域。
• 将领域泛化形式化为模型必须在从未遇到过的数据分布之间实现泛化的情形。
• 推导一个依赖于成对领域差异和混合领域差异的泛化界。
• 开发一种表示学习方法，通过最小化领域差异同时保留与任务相关的信息。
• 在标准基准和一个真实世界的EEG时间序列领域泛化任务上验证该方法。

提出的方法

• 该方法基于一个关键引理，表明最小化所有训练领域之间的成对差异，也能最小化这些领域任意混合之间的差异。
• 其形式化了一个依赖于任意两个领域混合之间最大差异的泛化界，该差异通过对抗训练得以最小化。
• 模型学习一个共享表示空间，使得所有训练领域在该空间中不可区分（领域不变），并利用对抗判别器来强制实现这种不变性。
• 通过联合优化下游预测任务来保留与任务相关的信息，确保表示仍具有信息量。
• 该方法使用极小化极大目标来估计并最小化成对领域差异，从而有效对齐不同领域的特征分布。
• 该方法被应用于标准领域泛化基准和一个真实世界的多通道EEG时间序列数据集，其中每个被试被视为一个独立的领域。

实验结果

研究问题

• RQ1 在训练领域之间最小化成对领域差异，是否能提升对未见领域的泛化能力？
• RQ2 能否推导出一个依赖于领域混合差异的领域泛化泛化界？
• RQ3 是否可以使用对抗训练来学习一个所有训练领域均不可区分的表示空间，同时保留与任务相关的关键特征？
• RQ4 与最先进方法相比，该方法在标准领域泛化基准上的表现如何？
• RQ5 该方法能否在具有复杂高维结构的真实世界数据（如多通道EEG时间序列）上实现有效泛化？

主要发现

• 所提方法在标准基准上优于几种近期提出的领域泛化方法，展现出对未见领域的更强泛化能力。
• 理论分析表明，最小化训练领域之间的成对差异，也能控制任意领域混合之间的差异，从而支持有效的泛化界。
• 对抗训练策略成功学习到一个领域不变的表示空间，使得训练领域在该空间中不可区分，同时保持了高预测性能。
• 该方法在真实世界的EEG多被试领域泛化任务中表现优异，其中每个被试代表具有独特生理模式的独特领域。
• 实证结果证实，即使在被试或领域之间数据分布发生显著变化时，该方法仍能有效泛化到未见领域。