[论文解读] Increasing Shape Bias in ImageNet-Trained Networks Using Transfer Learning and Domain-Adversarial Methods

Françis Brochu|arXiv (Cornell University)|Jul 30, 2019

Domain Adaptation and Few-Shot Learning参考文献 13被引用 6

一句话总结

本文提出一种方法，通过结合风格迁移数据增强与领域对抗性训练，提升ImageNet预训练CNN的形状偏差。该方法在不损失准确率的前提下增强了对纹理和颜色变化的鲁棒性，领域对抗性训练进一步提升了多个数据集在风格化测试集上的性能，证实了形状泛化能力的增强。

ABSTRACT

Convolutional Neural Networks (CNNs) have become the state-of-the-art method to learn from image data. However, recent research shows that they may include a texture and colour bias in their representation, contrary to the intuition that they learn the shapes of the image content and to human biological learning. Thus, recent works have attempted to increase the shape bias in CNNs in order to train more robust and accurate networks on tasks. One such approach uses style-transfer in order to remove texture clues from the data. This work reproduces this methodology on four image classification datasets, as well as extends the method to use domain-adversarial training in order to further increase the shape bias in the learned representation. The results show the proposed method increases the robustness and shape bias of the CNNs, while it does not provide a gain in accuracy.

研究动机与目标

• 为解决ImageNet训练CNN中广泛记录的纹理和颜色偏差问题，该偏差会削弱对基于形状的泛化能力。
• 探究仅使用风格迁移数据增强是否能提升CNN在多样化图像分类任务中的形状偏差与鲁棒性。
• 评估将领域对抗性训练与风格迁移结合是否能增强模型的形状偏差与泛化能力。
• 确定所提方法是否在保持或提升原始数据集性能的同时，提升在风格化测试集上的鲁棒性。

提出的方法

• 通过神经风格迁移对训练数据进行增强，用艺术风格的纹理和颜色特征替换原始图像，仅保留形状信息。
• 在原始图像与风格迁移图像的混合数据集上训练CNN，以促进基于形状的特征学习。
• 通过引入领域判别器，实施领域对抗性训练，促使特征提取器生成领域不变的表示。
• 采用多任务损失函数，结合分类损失与领域对抗性损失，联合优化准确率与领域不变性。
• 在SqueezeNet 1.1与ResNet-34架构上，对四个数据集（Dice、Dogs vs. Cats、Dog Breed Identification、Food101）进行微调。
• 在原始（基础）和风格化测试集上评估模型，以衡量形状偏差与鲁棒性。

实验结果

研究问题

• RQ1 将风格迁移数据增强与领域对抗性训练结合，是否能提升ImageNet预训练CNN的形状偏差？
• RQ2 与基线模型相比，所提方法在风格化测试集上的鲁棒性提升程度如何？
• RQ3 引入领域对抗性训练是否能带来在原始与风格化数据上更好的泛化能力与更高准确率？
• RQ4 该方法是否能在显著增强基于形状的泛化能力的同时，保持或提升在原始数据集上的准确率？
• RQ5 该方法在不同复杂度与类别多样性数据集上的性能表现如何？

主要发现

• 所提方法在全部四个数据集上均提升了形状偏差与鲁棒性，且在原始（基础）测试集上未出现准确率下降。
• 在Dog Breed Identification数据集上，领域对抗性模型在基础集上达到93.85%准确率，在风格化集上达到94.21%，优于基线在风格化集上的表现。
• 在Food101数据集上，领域对抗性模型在风格化集上达到90.36%准确率，而基础集为92.90%，尽管绝对准确率下降，但显示出更强的鲁棒性。
• 与基线相比，领域对抗性训练使DBI数据集在风格化测试集上的准确率提升1.02%，Food101数据集提升2.54%。
• 混合训练（基础与风格化图像）未提升基础准确率，但显著增强了风格化数据上的性能，表明形状偏差增强。
• 领域对抗性组件提供了正则化效果，改善了泛化能力并减少了对纹理线索的过度依赖，尤其在复杂、高类别难度的数据集中表现更明显。