[论文解读] Low-shot Learning via Covariance-Preserving Adversarial Augmentation Networks

Hang Gao, Zheng Shou+3 more|arXiv (Cornell University)|Oct 27, 2018

Domain Adaptation and Few-Shot Learning被引用 81

一句话总结

本文推出 Covariance-Preserving Adversarial Augmentation Networks (CP-AAN)，通过利用相关的基类来建模潜在分布并保持协方差，从而为低样本学习生成多样、真实的特征，在 ImageNet 上取得了最先进的结果。

ABSTRACT

Deep neural networks suffer from over-fitting and catastrophic forgetting when trained with small data. One natural remedy for this problem is data augmentation, which has been recently shown to be effective. However, previous works either assume that intra-class variances can always be generalized to new classes, or employ naive generation methods to hallucinate finite examples without modeling their latent distributions. In this work, we propose Covariance-Preserving Adversarial Augmentation Networks to overcome existing limits of low-shot learning. Specifically, a novel Generative Adversarial Network is designed to model the latent distribution of each novel class given its related base counterparts. Since direct estimation of novel classes can be inductively biased, we explicitly preserve covariance information as the `variability' of base examples during the generation process. Empirical results show that our model can generate realistic yet diverse examples, leading to substantial improvements on the ImageNet benchmark over the state of the art.

研究动机与目标

• 从极少量示例中激发学习新概念，并缓解微调过程中的灾难性遗忘。
• 提出一种基于 GAN 的框架，在建模潜在分布的同时将基础类特征转译为新类特征。
• 在生成新类数据时保持类内协方差以维持现实的变异性。
• 引入 Neighborhood Batch Sampling 以选择与新类相关的基础类进行翻译。
• 证明在 ImageNet 上相较于先前方法，低样本和泛化性能有所提升。

提出的方法

• 将不平衡的集合到集合翻译形式化，其中 G_n 将基础类特征翻译为新类。
• 使用 Neighborhood Batch Sampling (NBS) 基于在学习嵌入空间中的类原型，将新类与语义上相似的基础类进行配对。
• 开发若干 GAN 变体：c-GAN、cCyc-GAN、cDeLi-GAN，以及保持协方差的 cCov-GAN。
• 引入一个协方差距离项 d_cov，利用截断的 SVD 基准度量来衡量基础类与生成类特征协方差之间的差异。
• 定义 L_cov 作为新基对的协方差距离的期望，以引导生成过程保持变异性。
• 将对抗损失、循环一致性损失和 L_cov 结合到 cCov-GAN 中 G_n 与 G_b 的最终目标。
• 两阶段训练：元训练使用基础数据以模拟测试时的低样本，随后在元测试阶段使用新类及其低样本样本来为最终分类器训练扩增数据。
• 使用原型网络嵌入或 ResNet 嵌入进行训练，配以情节抽样与标准 GAN 优化。

实验结果

研究问题

• RQ1 与天真或循环一致性 GAN 相比，协方差保持的对抗性增强是否能生成更丰富且更现实的新类特征？
• RQ2 在翻译过程中保持基础类的类内协方差是否能提升 ImageNet 的低样本与泛化识别性能？
• RQ3 Neighborhood Batch Sampling 在为新类选择可翻译的基础类方面有多有效？
• RQ4 不同的 GAN 变体（c-GAN、cCyc-GAN、cDeLi-GAN、cCov-GAN）对生成多样性和下游分类准确度的影响如何？

主要发现

• 带有协方差保持的 CP-AAN（cCov-GAN）在测试的变体中表现最佳，相较于先前的增强方法有显著提升。
• 在 ImageNet 的低样本学习中，cCov-GAN 在不同 K 的设定下提升了前五名准确率，明显高于基线。
• 协方差保持使生成的特征更具多样性和现实性，促进对新类的泛化。
• Neighborhood Batch Sampling (NBS) 相较于标准批采样提升了低样本识别，软 NBS (NBS-S) 通常更受欢迎。
• 消融研究表明循环一致性和高斯噪声变体能改善生成但可能高估多样性；基于协方差的损失提供最忠实的多样性与分类增益。
• 量化结果显示在传统低样本学习和广义（GLSL）设置下，所提方法在 ImageNet 上达到最新的性能水平。