[论文解读] Frustratingly Simple Domain Generalization via Image Stylization

Nathan Somavarapu, Chih‐Yao Ma+1 more|arXiv (Cornell University)|Jun 19, 2020

Image Retrieval and Classification Techniques参考文献 40被引用 53

一句话总结

一个简单的域内风格化增强（以及跨源风格化）通过偏向形状而非纹理来改善域泛化，在无外部数据源的情况下，在DG基准上达到有竞争力的或最先进的结果。

ABSTRACT

Convolutional Neural Networks (CNNs) show impressive performance in the standard classification setting where training and testing data are drawn i.i.d. from a given domain. However, CNNs do not readily generalize to new domains with different statistics, a setting that is simple for humans. In this work, we address the Domain Generalization problem, where the classifier must generalize to an unknown target domain. Inspired by recent works that have shown a difference in biases between CNNs and humans, we demonstrate an extremely simple yet effective method, namely correcting this bias by augmenting the dataset with stylized images. In contrast with existing stylization works, which use external data sources such as art, we further introduce a method that is entirely in-domain using no such extra sources of data. We provide a detailed analysis as to the mechanism by which the method works, verifying our claim that it changes the shape/texture bias, and demonstrate results surpassing or comparable to the state of the arts that utilize much more complex methods.

研究动机与目标

• 激励对未见域的稳健泛化，解决与人类偏差不同的模型偏差。
• 提出一种轻量级数据增强，在保留内容的同时改变纹理，以将模型对形状的依赖转移。
• 表明域内和跨源风格化可以在标准基准上达到甚至超过最先进的域泛化方法。
• 分析风格化如何改变形状/纹理偏差及其对泛化的影响。

提出的方法

• 定义概率风格化 S_{Q,p}(x)，在概率 p 下使用 AdaIN 将图像替换为风格化版本，风格集合 Q 来自如画家数据集或其他源域等来源。
• 在训练时应用风格化，进行分类损失的端到端优化：min_theta E_{x,y ~ D_S}[ L_c( f(S_{Q,p}(x); theta), y) ]。
• 引入跨源风格化，其中 Q 由其他源域组成（或域内风格化，使 Q 为当前域），以在不依赖外部数据的情况下利用域内变异性。
• 表明风格化倾向于增加形状信息，同时并未显著降低纹理信息，从而带来更好的跨域性能。
• 使用 ResNet-18 与 AlexNet 主干，在 PACS、VLCS、Office-Home 的 DG 基准上进行实验。
• 提供分析，包括线索冲突数据集，以衡量形状偏置、形状准确性和纹理准确性。

实验结果

研究问题

• RQ1 简单的风格化增强在无需额外数据源的情况下是否能改善域泛化？
• RQ2 在 DG 设置中，风格化如何影响 CNN 的形状与纹理偏置？
• RQ3 跨源风格化是否与使用外部绘画数据的风格化在 DG 上同等有效？
• RQ4 哪些源域对跨源风格化的收益贡献最大？
• RQ5 在不同主干架构和数据集上收益是否稳定？

主要发现

• 基于风格化的增强在 PACS、VLCS、Office-Home 基准上达到与最先进的 DG 方法相当的结果。
• 跨源风格化（无需外部绘画数据）提供与绘画基风格化相当的改进，表明跨源变异性足够。
• 风格化增加形状偏置和形状准确性，而纹理准确性基本保持不变，与更佳的跨域泛化相关。
• 效益在多种主干（ResNet-18 与 AlexNet）以及多个目标域上都能观察到。
• 使用更多源进行跨源风格化通常有帮助，但超过多源混合后收益递减。