[论文解读] Robust and Generalizable Visual Representation Learning via Random Convolutions

Zhenlin Xu, Deyi Liu+3 more|arXiv (Cornell University)|Jul 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 48被引用 85

一句话总结

本文将随机卷积作为数据增强，用以学习鲁棒的视觉表征，通过创建大量纹理变异的域并将其与原始数据结合，提升领域泛化和素描-图像任务。

ABSTRACT

While successful for various computer vision tasks, deep neural networks have shown to be vulnerable to texture style shifts and small perturbations to which humans are robust. In this work, we show that the robustness of neural networks can be greatly improved through the use of random convolutions as data augmentation. Random convolutions are approximately shape-preserving and may distort local textures. Intuitively, randomized convolutions create an infinite number of new domains with similar global shapes but random local textures. Therefore, we explore using outputs of multi-scale random convolutions as new images or mixing them with the original images during training. When applying a network trained with our approach to unseen domains, our method consistently improves the performance on domain generalization benchmarks and is scalable to ImageNet. In particular, in the challenging scenario of generalizing to the sketch domain in PACS and to ImageNet-Sketch, our method outperforms state-of-art methods by a large margin. More interestingly, our method can benefit downstream tasks by providing a more robust pretrained visual representation.

研究动机与目标

• 解决视觉表征对纹理/风格变化以及领域迁移的鲁棒性问题。
• 开发使用随机卷积的数据增强策略，以偏重全局形状而非局部纹理信息。
• 研究多尺度随机卷积及混合变体以产生多样的训练视图。
• 评估更鲁棒的预训练模型是否能够提升下游微调的鲁棒性。

提出的方法

• 将随机卷积作为数据增强技术，以生成纹理随机化、近似保形的图像。
• 将多尺度随机卷积的输出用作新的训练输入，或与原始图像混合。
• 用增强数据训练网络，推动对局部纹理和域迁移的不变性。
• 在域泛化基准（包括未见域）上评估鲁棒性和泛化能力。
• 通过将该方法应用于如 ImageNet 等大规模数据集来测试可扩展性。
• 提供用于复现的开源代码。

实验结果

研究问题

• RQ1 随机卷积是否能够提高视觉表征对域迁移和小扰动的鲁棒性？
• RQ2 将随机卷积输出与原始图像混合是否能提升对未见域的泛化？
• RQ3 该方法是否可扩展到如 ImageNet 等大规模数据集，并通过鲁棒的预训练表征有益于下游任务？
• RQ4 在像 PACS（素描域）和 ImageNet-Sketch 这类具有挑战性的域迁移基准上的表现如何？

主要发现

• 随机卷积提高对域迁移和小扰动的鲁棒性。
• 多尺度随机卷积提供多样的纹理变体，同时保持全局形状。
• 该方法在域泛化基准的未见域上持续提升性能。
• 在如素描域（PACS）和 ImageNet-Sketch 这类具有挑战性的设置中，方法超越了最先进方法。
• 该方法可扩展到 ImageNet，能够产生更鲁棒的预训练表征，惠及下游任务。