[论文解读] Adversarial Invariant Feature Learning with Accuracy Constraint for Domain Generalization

Kei Akuzawa, Yusuke Iwasawa+1 more|arXiv (Cornell University)|Apr 29, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用 21

一句话总结

该论文提出AFLAC，一种新颖的域泛化方法，通过在对抗训练过程中强制执行精度约束的域不变性，显式平衡域不变性与分类准确率。通过理论分析域-类别依赖下不变性与准确率之间的权衡，AFLAC在合成数据集和真实世界数据集上均取得最先进性能，优于现有不变特征学习方法，且对超参数选择具有鲁棒性。

ABSTRACT

Learning domain-invariant representation is a dominant approach for domain generalization (DG), where we need to build a classifier that is robust toward domain shifts. However, previous domain-invariance-based methods overlooked the underlying dependency of classes on domains, which is responsible for the trade-off between classification accuracy and domain invariance. Because the primary purpose of DG is to classify unseen domains rather than the invariance itself, the improvement of the invariance can negatively affect DG performance under this trade-off. To overcome the problem, this study first expands the analysis of the trade-off by Xie et. al., and provides the notion of accuracy-constrained domain invariance, which means the maximum domain invariance within a range that does not interfere with accuracy. We then propose a novel method adversarial feature learning with accuracy constraint (AFLAC), which explicitly leads to that invariance on adversarial training. Empirical validations show that the performance of AFLAC is superior to that of domain-invariance-based methods on both synthetic and three real-world datasets, supporting the importance of considering the dependency and the efficacy of the proposed method.

研究动机与目标

• 为解决在域-类别依赖下，域泛化（DG）中被忽视的域不变性与分类准确率之间的权衡问题。
• 形式化定义精度约束的域不变性，即在不降低分类性能的前提下可实现的最大不变性。
• 开发一种在对抗训练过程中显式优化该约束不变性的方法。
• 通过实证验证，考虑域-类别依赖可提升真实世界与合成数据集上的DG性能。
• 证明所提方法对超参数选择的鲁棒性，这是在缺乏目标域验证数据时DG中的关键挑战。

提出的方法

• 该方法引入一种新型损失函数，仅在类别标签依赖的域信息所允许的范围内强制执行域不变性，其理论基础源于熵关系 H(d|h) = H(d|y) 的分析。
• AFLAC使用带有域判别器的对抗训练，以最小化潜在表示中的域特定特征，但仅限于精度约束范围内。
• 核心创新在于通过条件熵 H(d|y) 约束域不变性，确保表示保留足够多的域信息以维持分类准确率。
• 模型通过交叉熵分类损失与对抗域混淆损失的组合进行端到端训练，采用梯度反转层，其梯度反转强度经校准以满足精度约束。
• 该方法在BMNISTR（合成）、PACS、WISDM和IEMOCAP数据集上进行评估，并通过消融研究隔离精度约束的影响。
• 通过多个 γ 值评估超参数敏感性，以证明其鲁棒性，尤其是在强正则化条件下。

实验结果

研究问题

• RQ1 域-类别依赖如何影响不变特征学习方法在域泛化中的性能？
• RQ2 在域-类别依赖下，域不变性与分类准确率之间的理论关系是什么？
• RQ3 我们能否定义一个不损害分类准确率的最大域不变性水平？
• RQ4 强制执行该精度约束的不变性是否能提升在未见域上的泛化性能？
• RQ5 在缺乏目标域验证数据的情况下，所提方法对超参数选择的鲁棒性如何？

主要发现

• AFLAC在所有数据集的平均性能上均优于基线方法，包括PACS（64.0%准确率）、WISDM（64.0%准确率）和IEMOCAP（64.0%准确率），仅在WISDM上的CIDDG表现例外。
• 在PACS和WISDM上，原始CNN的性能优于标准IFL方法（DAN和AFLAC-Abl），表明当存在域-类别依赖时，仅追求域不变性反而会损害性能。
• 在IEMOCAP上，当域-类别依赖强度 I(d;y) 较高时（如Ses04和Ses05），AFLAC优于AFLAC-Abl，支持了理论分析。
• AFLAC对超参数选择表现出更优的鲁棒性：与DAN和AFLAC-Abl不同，后者在次优γ值下性能急剧下降，AFLAC在不同γ值下均保持稳定性能。
• 在强正则化条件下（γ = 10或100），AFLAC与AFLAC-Abl的性能差距进一步扩大，证实AFLAC即使在激进的不变性强制下也能有效避免准确率下降。
• 实证结果证实，理论边界 H(d|h) = H(d|y) 对应该最优权衡点，即在不损害准确率的前提下实现最大不变性。