[论文解读] Delving into Semantic Scale Imbalance

Yanbiao Ma, Licheng Jiao+4 more|arXiv (Cornell University)|Dec 30, 2022

Imbalanced Data Classification Techniques被引用 5

一句话总结

本文通过量化流形体积定义语义尺度，提出了一种此前被忽视的模型偏差形式——语义尺度不平衡，其源于不同类别间特征多样性的差异。本文提出动态语义尺度均衡学习方法，通过自适应损失重加权来缓解该偏差，在自然视觉与医学视觉任务的长尾分布和样本均衡数据集上均取得优越性能。

ABSTRACT

Model bias triggered by long-tailed data has been widely studied. However, measure based on the number of samples cannot explicate three phenomena simultaneously: (1) Given enough data, the classification performance gain is marginal with additional samples. (2) Classification performance decays precipitously as the number of training samples decreases when there is insufficient data. (3) Model trained on sample-balanced datasets still has different biases for different classes. In this work, we define and quantify the semantic scale of classes, which is used to measure the feature diversity of classes. It is exciting to find experimentally that there is a marginal effect of semantic scale, which perfectly describes the first two phenomena. Further, the quantitative measurement of semantic scale imbalance is proposed, which can accurately reflect model bias on multiple datasets, even on sample-balanced data, revealing a novel perspective for the study of class imbalance. Due to the prevalence of semantic scale imbalance, we propose semantic-scale-balanced learning, including a general loss improvement scheme and a dynamic re-weighting training framework that overcomes the challenge of calculating semantic scales in real-time during iterations. Comprehensive experiments show that dynamic semantic-scale-balanced learning consistently enables the model to perform superiorly on large-scale long-tailed and non-long-tailed natural and medical datasets, which is a good starting point for mitigating the prevalent but unnoticed model bias.

研究动机与目标

• 识别并量化分类任务中除样本数量不平衡之外、此前被忽视的模型偏差形式。
• 证明语义尺度（通过特征流形体积度量）可解释在数据稀缺与数据丰富场景下的性能饱和与退化模式。
• 表明即使在样本均衡的数据集中，由于语义尺度差异，仍存在类别偏差，而传统长尾学习方法无法解决此问题。
• 提出一种新型训练框架——动态语义尺度均衡学习，根据实时语义尺度估计自适应调整损失权重。
• 将类别不平衡研究的范畴从样本频率扩展至内在特征多样性，从而提升在真实世界数据集中的适用性。

提出的方法

• 将语义尺度量化为特征空间中某类特征所张成的低维流形的体积。
• 在训练过程中采用数值稳定且可微的方法，对每种类别的特征流形体积进行估计。
• 设计一种动态重加权机制，为语义尺度较小（即特征多样性较低）的类别分配更高的损失权重。
• 将语义尺度感知的损失集成至训练框架中，实现每批次动态更新类别权重，避免静态重加权。
• 将该方法应用于长尾与样本均衡数据集，包括医学影像数据，以评估其鲁棒性与泛化能力。
• 基于对比学习与度量学习原则，确保模型即使在低语义尺度类别上也能学习到判别性特征。

实验结果

研究问题

• RQ1 语义尺度（由特征流形体积定义）是否能解释额外样本带来的边际性能提升，以及数据不足时性能的急剧下降？
• RQ2 为何在样本均衡数据集上训练的模型仍表现出类别偏差？该偏差是否可归因于特征多样性的差异？
• RQ3 基于语义尺度的动态重加权策略是否能在长尾与均衡数据设置下均优于传统的基于样本的重加权方法？
• RQ4 在多样化视觉基准中，语义尺度不平衡相较于传统样本基类别不平衡，在普遍性和影响程度上如何比较？
• RQ5 将语义尺度均衡学习扩展至流式、多领域与多模态不平衡数据时，面临哪些关键挑战？

主要发现

• 语义尺度（以特征流形体积度量）可解释数据扩展的收益递减现象，以及性能对数据稀缺的敏感性。
• 即使在样本均衡的数据集中，模型仍显著偏向语义尺度较大的类别，证实了语义尺度不平衡的存在。
• 动态语义尺度均衡学习在多个基准数据集（包括 ImageNet-LT、CIFAR-100 和医学数据集）上持续提升准确率。
• 与标准重加权和重采样基线相比，该方法在尾部类别上表现更优，其优势源于对特征多样性而非样本数量的关注。
• 该方法在非长尾数据集上也表现出良好泛化能力，表明语义尺度不平衡的影响范围比以往认识更广。
• 实验表明，采用语义尺度感知重加权后，决策边界会向低频类别偏移，从而在不依赖数据增强的情况下减少偏差。