[论文解读] Attentional Biased Stochastic Gradient for Imbalanced Classification.

Qi Qi, Yi Xu+3 more|arXiv (Cornell University)|Dec 13, 2020

Imbalanced Data Classification Techniques参考文献 69被引用 4

一句话总结

该论文提出了一种理论基础扎实且高效的类别不平衡深度学习方法——注意力偏置随机梯度（ABSGD），通过注意力机制根据缩放损失值的指数为每个样本分配独立的权重。该方法仅需每轮迭代一次反向传播，即可实现SOTA性能，优于基于类别级别和元学习的个体加权方法，通过捕捉类内多样性并借助分布鲁棒优化（DRO）确保收敛性。

ABSTRACT

In this paper, we present a simple yet effective method (ABSGD) for addressing the data imbalance issue in deep learning. Our method is a simple modification to momentum SGD where we leverage an attentional mechanism to assign an individual importance weight to each gradient in the mini-batch. Unlike many existing heuristic-driven methods for tackling data imbalance, our method is grounded in {\it theoretically justified distributionally robust optimization (DRO)}, which is guaranteed to converge to a stationary point of an information-regularized DRO problem. The individual-level weight of a sampled data is systematically proportional to the exponential of a scaled loss value of the data, where the scaling factor is interpreted as the regularization parameter in the framework of information-regularized DRO. Compared with existing class-level weighting schemes, our method can capture the diversity between individual examples within each class. Compared with existing individual-level weighting methods using meta-learning that require three backward propagations for computing mini-batch stochastic gradients, our method is more efficient with only one backward propagation at each iteration as in standard deep learning methods. To balance between the learning of feature extraction layers and the learning of the classifier layer, we employ a two-stage method that uses SGD for pretraining followed by ABSGD for learning a robust classifier and finetuning lower layers. Our empirical studies on several benchmark datasets demonstrate the effectiveness of the proposed method.

研究动机与目标

• 通过捕捉类别内样本多样性，超越类别级别加权，解决深度学习中的数据不平衡问题。
• 提出一种基于分布鲁棒优化（DRO）的理论方法，具备理论收敛性保证。
• 相比需要多次反向传播的元学习方法，降低计算成本。
• 通过先使用SGD后使用ABSGD的两阶段训练策略，平衡特征学习与分类器训练。
• 在不修改网络架构的前提下，提升长尾和不平衡基准数据集上的泛化性能。

提出的方法

• 引入一种注意力机制，基于小批量中每个样本的缩放损失值的指数，为个体梯度分配权重。
• 将该方法置于信息正则化DRO框架内，其中缩放因子作为正则化参数。
• 通过理论分析确保收敛至正则化DRO问题的驻点。
• 每轮迭代仅使用一次反向传播，保持与标准SGD相当的计算效率。
• 实施两阶段训练流程：先使用标准SGD进行预训练，再使用ABSGD进行微调，以优化分类器和底层网络。
• 为损失值更高的样本分配更高的注意力权重，使优化更聚焦于难样本或低频样本。

实验结果

研究问题

• RQ1 基于注意力的梯度加权方案是否能在保持计算效率的同时，提升类别不平衡分类的泛化性能？
• RQ2 该方法是否通过捕捉类内样本多样性，优于类别级别加权方案？
• RQ3 该方法是否可通过分布鲁棒优化（DRO）实现理论上的合理性与收敛性保证？
• RQ4 与需要多次反向传播的元学习方法相比，该方法在训练效率和准确率方面表现如何？
• RQ5 两阶段训练策略是否能有效平衡类别不平衡设置下的特征学习与分类器优化？

主要发现

• ABSGD在多个具有长尾类别分布的基准数据集上实现了SOTA性能。
• 该方法通过捕捉类内差异并聚焦于难样本，优于类别级别加权方案。
• ABSGD仅需每轮一次反向传播，保持计算效率，而元学习方法通常需要三次。
• 理论分析证实，该方法收敛至信息正则化DRO问题的驻点。
• 两阶段训练策略通过解耦特征学习与分类器优化，显著提升了分类器层的鲁棒性。
• 实验结果表明，该方法在多种不平衡数据集上均实现一致的准确率提升，展现出超越特定网络架构的泛化能力。