[论文解读] MetaSAug: Meta Semantic Augmentation for Long-Tailed Visual Recognition

Shuang Li, Kaixiong Gong+4 more|arXiv (Cornell University)|Mar 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 26被引用 17

一句话总结

MetaSAug 提出了一种元学习框架，通过在深度特征空间中动态学习类别相关的协方差矩阵，以优化长尾视觉识别中的语义数据增强。通过在平衡验证集上最小化验证损失，该方法为少数类生成更具意义且多样化的增强样本，显著提升了在 CIFAR-LT、ImageNet-LT 和 iNaturalist 基准上的分类准确率。

ABSTRACT

Real-world training data usually exhibits long-tailed distribution, where several majority classes have a significantly larger number of samples than the remaining minority classes. This imbalance degrades the performance of typical supervised learning algorithms designed for balanced training sets. In this paper, we address this issue by augmenting minority classes with a recently proposed implicit semantic data augmentation (ISDA) algorithm, which produces diversified augmented samples by translating deep features along many semantically meaningful directions. Importantly, given that ISDA estimates the class-conditional statistics to obtain semantic directions, we find it ineffective to do this on minority classes due to the insufficient training data. To this end, we propose a novel approach to learn transformed semantic directions with meta-learning automatically. In specific, the augmentation strategy during training is dynamically optimized, aiming to minimize the loss on a small balanced validation set, which is approximated via a meta update step. Extensive empirical results on CIFAR-LT-10/100, ImageNet-LT, and iNaturalist 2017/2018 validate the effectiveness of our method.

研究动机与目标

• 解决在少数类样本不足的长尾数据分布上训练的深度学习模型性能下降的问题。
• 克服现有语义增强方法（如 ISDA）在少数类上表现不佳的局限性，因为其依赖于稀疏少数类数据进行可靠的协方差估计。
• 开发一种基于元学习的方法，自动学习深度特征空间中有效且类别特定的语义增强方向。
• 在不修改主干网络或引入架构变更的前提下，提升少数类的泛化能力和分类准确率。
• 通过作为即插即用的增强模块，与现有的长尾学习方法（如焦点损失和 LDAM）保持兼容并实现协同增效。

提出的方法

• 使用元学习优化语义数据增强的类别相关协方差矩阵，目标是最小化在小规模平衡验证集上的验证损失。
• 在每个训练步骤中，使用当前协方差矩阵执行数据增强，然后计算验证损失，并通过元更新步骤更新协方差矩阵。
• 利用隐式语义数据增强（ISDA）技术沿语义上有意义的方向变换深度特征，但通过元优化学习这些方向，而非依赖稀疏少数类数据进行估计。
• 将学习到的协方差矩阵集成到训练流程中，为样本数不足的类别生成多样化且语义一致的增强样本。
• 将元学习目标形式化为双层优化：内层循环使用增强数据进行模型训练，外层循环更新协方差矩阵以最小化验证误差。
• 通过将 MetaSAug 作为即插即用的增强模块应用，保持与焦点损失和 LDAM 等现有损失函数的兼容性。

实验结果

研究问题

• RQ1 元学习能否有效用于学习长尾视觉识别中类别相关的语义增强方向？
• RQ2 通过元优化学习协方差矩阵进行语义增强，是否在少数类上优于固定或基于数据估计的协方差矩阵？
• RQ3 与最先进方法相比，MetaSAug 在长尾基准上能将分类准确率提升多少？
• RQ4 MetaSAug 如何与现有长尾学习技术（如焦点损失和 LDAM）相互作用并增强其性能？
• RQ5 MetaSAug 在不同主干网络和长尾数据集上是否具备鲁棒性和有效性？

主要发现

• 在 iNaturalist 2018 上，MetaSAug 实现了 31.25% 的 top-1 错误率，优于此前最佳方法（Meta-class-weight）1.20 个百分点。
• 在不平衡因子为 200 的 CIFAR-LT-10 上，MetaSAug 将 top-1 错误率降低至 12.36%，显著优于 ISDA 和元加权基线方法。
• 在 ImageNet-LT 上使用 ResNet-152 时，MetaSAug 实现了 49.97% 的 top-1 错误率，超过 LDAM-DRW（52.86%）和 MCW（53.18%）超过 2.5 个百分点。
• 消融实验表明，重加权和元学习组件均不可或缺，任一移除均导致 CIFAR-LT-10 上性能下降超过 2%。
• 可视化结果表明，即使对最罕见类别（如 'truck'）也能成功生成语义上有意义的增强样本，在保持类别身份的同时改变外观。
• 混淆矩阵显示，MetaSAug 显著减少了相似少数类之间的误分类（如 truck 与 automobile），表明特征判别能力得到提升。