[论文解读] Dreaming More Data: Class-dependent Distributions over Diffeomorphisms for Learned Data Augmentation

Søren Hauberg, Oren Freifeld+3 more|arXiv (Cornell University)|Oct 9, 2015

Generative Adversarial Networks and Image Synthesis被引用 49

一句话总结

本文提出了一种学习得到的、与类别相关的数据增强方法，将图像之间的空间变换建模为黎曼流形上的微分同胚。通过为每种类别学习其变换的概率分布，并应用这些分布生成新的训练数据，该方法在MNIST及其变体上的MLP和CNN实验中，显著提升了分类准确率，尤其在小样本数据集上表现优异，优于人工设计的增强方案。

ABSTRACT

Data augmentation is a key element in training high-dimensional models. In this approach, one synthesizes new observations by applying pre-specified transformations to the original training data; e.g.~new images are formed by rotating old ones. Current augmentation schemes, however, rely on manual specification of the applied transformations, making data augmentation an implicit form of feature engineering. With an eye towards true end-to-end learning, we suggest learning the applied transformations on a per-class basis. Particularly, we align image pairs within each class under the assumption that the spatial transformation between images belongs to a large class of diffeomorphisms. We then learn a class-specific probabilistic generative models of the transformations in a Riemannian submanifold of the Lie group of diffeomorphisms. We demonstrate significant performance improvements in training deep neural nets over manually-specified augmentation schemes. Our code and augmented datasets are available online.

研究动机与目标

• 为解决人工数据增强的局限性，后者依赖手工设计的变换且对所有类别一视同仁。
• 通过自动发现训练数据中固有的类别特定空间变换，实现端到端学习。
• 将图像形变建模为黎曼流形上微分同胚的概率分布，以实现鲁棒且可泛化的增强。
• 通过学习到的变换生成真实且多样的训练样本，从而提升分类性能，尤其在小样本数据集上。
• 提供一种可扩展、有理论依据的替代方案，以适应类别特定的不变性。

提出的方法

• 针对每种类别，在假设图像间空间变换为C¹微分同胚的前提下，执行成对图像配准。
• 将估计得到的微分同胚集合嵌入微分同胚李群的有限维黎曼子流形中。
• 在微分同胚的黎曼均值处的切空间中，学习类别特定的多元正态分布。
• 通过从训练集中采样一张图像和从学习到的分布中采样一个变换，然后将该变换应用于图像，生成新的训练样本。
• 该方法利用CPAB（基于正电子发射断层扫描的配准）表示，以确保变换为微分同胚、可逆，且具有高表达能力与低维度。
• 该方法被应用于训练多层感知机和卷积神经网络，并在MNIST及其变体上评估性能。

实验结果

研究问题

• RQ1 能否通过从数据中学习类别特定变换的数据增强方案，优于人工设计的增强策略？
• RQ2 如何将图像间的空间变换建模为微分同胚黎曼流形上的概率分布？
• RQ3 从数据中学习增强方案是否能提升泛化性能，尤其是在小样本数据集上？
• RQ4 该方法能否扩展到医学影像或时间序列分析等其他领域？
• RQ5 与统一的、人工定义的增强方案相比，类别特定增强对模型性能有何影响？

主要发现

• 在InfiMNIST500数据集（每类500张图像）上，该方法将卷积神经网络的测试误差降低至1.06%，显著优于基线的人工增强方案。
• 在AlignMNIST500上，卷积神经网络的测试误差达到0.84%，在小样本数据集上实现了最先进性能。
• 所学习的增强方案优于使用完整训练集的人工增强，也优于使用较小子集的人工增强，表明其具有更高的数据效率。
• 在AlignMNIST上，使用卷积神经网络的测试误差为0.44%，相比最佳人工增强基线相对提升了15%。
• 该方法通过生成针对每种类别内在可变性的多样化、真实增强样本，使在小样本数据集上训练大型模型成为可能。
• 利用黎曼几何确保生成的变换平滑且可逆，避免了高维位移场模型的不稳定性。