[论文解读] Feature Stylization and Domain-aware Contrastive Learning for Domain Generalization

Seogkyu Jeon, Kibeom Hong+3 more|arXiv (Cornell University)|Aug 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 60被引用 4

一句话总结

该论文提出了一种领域泛化框架，通过使用学习到的领域特定统计信息对深度特征进行风格化，以生成新颖的领域，同时保留类别语义。通过将特征分解为高频和低频分量，仅对低频分量进行风格化，并应用领域感知对比损失，该方法在 PACS 和 Office-Home 基准测试中实现了最先进性能，在鲁棒性和泛化能力方面优于先前方法。

ABSTRACT

Domain generalization aims to enhance the model robustness against domain shift without accessing the target domain. Since the available source domains for training are limited, recent approaches focus on generating samples of novel domains. Nevertheless, they either struggle with the optimization problem when synthesizing abundant domains or cause the distortion of class semantics. To these ends, we propose a novel domain generalization framework where feature statistics are utilized for stylizing original features to ones with novel domain properties. To preserve class information during stylization, we first decompose features into high and low frequency components. Afterward, we stylize the low frequency components with the novel domain styles sampled from the manipulated statistics, while preserving the shape cues in high frequency ones. As the final step, we re-merge both components to synthesize novel domain features. To enhance domain robustness, we utilize the stylized features to maintain the model consistency in terms of features as well as outputs. We achieve the feature consistency with the proposed domain-aware supervised contrastive loss, which ensures domain invariance while increasing class discriminability. Experimental results demonstrate the effectiveness of the proposed feature stylization and the domain-aware contrastive loss. Through quantitative comparisons, we verify the lead of our method upon existing state-of-the-art methods on two benchmarks, PACS and Office-Home.

研究动机与目标

• 解决在训练期间无法访问目标领域数据时的领域分布偏移问题。
• 克服现有领域泛化方法在领域合成过程中面临优化困难或语义失真问题的局限性。
• 在训练期间生成多样化且新颖的领域风格的同时，保留类别可区分信息。
• 通过一种新型对比学习目标，增强特征和输出的一致性，从而提升模型鲁棒性。

提出的方法

• 该方法从经过处理的批量特征统计中采样新颖的领域风格，通过重新缩放标准差来强调异常风格向量。
• 使用频域分解技术将特征分解为高频分量（形状线索）和低频分量（纹理/风格化信息）。
• 仅使用采样的领域风格对低频分量进行风格化，从而保留高频分量的结构信息。
• 将风格化后的低频分量与原始的高频分量重新组合，形成新颖领域特征。
• 引入一种领域感知的监督对比损失，以在不同领域间强制实现特征和输出的一致性，同时增强类别可分性。
• 在 ResNet 架构中，将特征风格化模块战略性地置于第二个残差块之后，以平衡低级和高级特征表示。

实验结果

研究问题

• RQ1 基于统计领域风格的特征风格化是否能在不访问目标数据的情况下提升对未见领域的泛化能力？
• RQ2 在合成新颖领域时，如何在特征风格化过程中保留类别语义？
• RQ3 在深度神经网络中，特征风格化最合适的模块位置和组件是什么？
• RQ4 与标准对比学习相比，领域感知对比损失是否能提升模型的鲁棒性和泛化能力？
• RQ5 特征重缩放的尺度如何影响风格化特征中形状与纹理信息之间的权衡？

主要发现

• 该方法在 Office-Home 基准测试中实现了 85.86% 的平均准确率，比基线高出 2.32 个百分点。
• 在 PACS 数据集中，该方法达到了 83.95% 的平均准确率，比基线高出 0.41 个百分点。
• 消融实验证实，仅对低频分量进行风格化可获得最佳性能，相比使用高频分量提升了 0.39 个百分点。
• 特征重缩放的最优尺度参数被确定为 10，该参数在形状与纹理线索的利用之间实现了最佳平衡。
• 将特征风格化模块置于第二个残差块之后可获得最高性能，表明该层捕获了结构与语义信息的最优平衡。
• 领域感知对比损失显著提升了泛化性能，当与风格化结合时，相比标准对比学习，平均准确率提升了 2.26%。