[论文解读] Adversarial Learning of General Transformations for Data Augmentation

Saypraseuth Mounsaveng, David Vázquez+2 more|arXiv (Cornell University)|Sep 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 7

一句话总结

该论文提出了一种端到端可微的数据增强框架，通过空间变换网络（STN）和基于U-Net的编码器-解码器架构，学习通用图像变换，并通过对抗性训练生成多样且类别保持的增强样本。该方法在MNIST、Fashion-MNIST、SVHN和CIFAR-10数据集上均取得了当前最优的分类准确率，尤其在低数据量场景下表现优异。

ABSTRACT

Data augmentation (DA) is fundamental against overfitting in large convolutional neural networks, especially with a limited training dataset. In images, DA is usually based on heuristic transformations, like geometric or color transformations. Instead of using predefined transformations, our work learns data augmentation directly from the training data by learning to transform images with an encoder-decoder architecture combined with a spatial transformer network. The transformed images still belong to the same class but are new, more complex samples for the classifier. Our experiments show that our approach is better than previous generative data augmentation methods, and comparable to predefined transformation methods when training an image classifier.

研究动机与目标

• 为解决基于启发式规则的数据增强方法存在的局限性，后者需要领域特定知识，且无法自适应数据分布。
• 通过学习图像变换而非从零生成样本，克服GAN-based数据生成在低数据量场景下的不稳定与性能不佳问题。
• 通过端到端、可微分的方式联合训练数据增强生成器与分类器，提升分类器泛化能力。
• 结合STN实现的全局仿射变换与U-Net实现的局部像素级失真，实现更鲁棒且多样的数据增强。

提出的方法

• 该方法使用空间变换网络（STN）从噪声向量和输入图像中学习全局仿射变换，实现可微分的空间变换。
• 基于U-Net的编码器-解码器架构学习局部非刚性失真（如色彩偏移与纹理变化），作用于输入图像的潜在表征。
• 生成器通过两个判别器进行对抗性训练：类别判别器（$D^C$）确保增强样本保持在原类别中，相似性判别器（$D^D$）防止身份或平凡变换。
• 在生成器与分类器之间引入额外的对抗性损失，以鼓励生成难以分类的样本，提升分类器鲁棒性。
• 整个系统通过反向传播进行端到端联合优化，同时训练生成器、判别器与分类器。
• 该方法应用于MNIST、Fashion-MNIST、SVHN与CIFAR-10数据集，并通过消融实验验证各组件的贡献。

实验结果

研究问题

• RQ1 对抗性学习图像变换是否能在分类器准确率上超越传统手工设计的数据增强方法？
• RQ2 相较于从零生成图像，学习图像变换是否能带来更好的性能表现，尤其在训练数据有限的情况下？
• RQ3 与独立训练相比，联合端到端训练生成器与分类器是否更具有效性？
• RQ4 通过STN与U-Net结合全局（仿射）与局部（像素级）变换，是否能实现优于单一方法的增强效果？
• RQ5 使用双判别器（类别与相似性）在防止平凡变换与提升泛化能力方面是否有效？

主要发现

• 所提方法在MNIST上无需任何预定义数据增强即可达到80.5%的测试准确率，显著超过基线分类器（66%），并优于手工设计与GAN-based增强方法。
• STN（用于全局变换）与U-Net（用于局部失真）的结合达到最高性能，当两者均启用时准确率达到80.14%。
• 同时使用两个判别器（$D^C$与$D^D$）可将准确率提升至73.82%，显著优于单判别器设置。
• 在生成器与分类器之间引入对抗性损失可进一步提升准确率，表明生成困难、对抗性样本能增强模型鲁棒性。
• 消融实验确认，STN、U-Net、双判别器与联合训练等各组件对最优性能均不可或缺。
• 模型学习到数据集特定的变换：例如在SVHN中对中心数字进行缩放，在CIFAR-10中应用色彩与对比度变化，而在MNIST与Fashion-MNIST中避免翻转操作。