[论文解读] Discriminative Sparse Neighbor Approximation for Imbalanced Learning

Chen Huang, Chen Change Loy+1 more|arXiv (Cornell University)|Feb 3, 2016

Imbalanced Data Classification Techniques参考文献 5被引用 4

一句话总结

本文提出了一种新型的判别性稀疏邻近近似方法（DSNA），用于处理数据不平衡问题。该方法利用代价敏感决策森林，识别测试样本周围的‘安全’局部邻域，随后将该邻域划分为重叠的、具有类别判别性的聚类，并将其建模为仿射子空间。通过在这些子空间中迭代近似测试样本，该方法实现了鲁棒且无偏的预测，在小规模、类别不平衡且存在高类别重叠的数据集上，显著优于当前最先进方法（包括深度学习模型），尤其在分类与回归任务中表现优异。

ABSTRACT

Data imbalance is common in many vision tasks where one or more classes are rare. Without addressing this issue conventional methods tend to be biased toward the majority class with poor predictive accuracy for the minority class. These methods further deteriorate on small, imbalanced data that has a large degree of class overlap. In this study, we propose a novel discriminative sparse neighbor approximation (DSNA) method to ameliorate the effect of class-imbalance during prediction. Specifically, given a test sample, we first traverse it through a cost-sensitive decision forest to collect a good subset of training examples in its local neighborhood. Then we generate from this subset several class-discriminating but overlapping clusters and model each as an affine subspace. From these subspaces, the proposed DSNA iteratively seeks an optimal approximation of the test sample and outputs an unbiased prediction. We show that our method not only effectively mitigates the imbalance issue, but also allows the prediction to extrapolate to unseen data. The latter capability is crucial for achieving accurate prediction on small dataset with limited samples. The proposed imbalanced learning method can be applied to both classification and regression tasks at a wide range of imbalance levels. It significantly outperforms the state-of-the-art methods that do not possess an imbalance handling mechanism, and is found to perform comparably or even better than recent deep learning methods by using hand-crafted features only.

研究动机与目标

• 为解决视觉任务中的数据不平衡问题，即少数类样本数量不足，常因对多数类的偏见而被错误分类。
• 克服现有方法在少数类样本稀疏或缺失时无法泛化到未见数据的局限性。
• 开发一个统一框架，适用于不同类别不平衡程度下的分类与回归任务。
• 通过增强对观测到的训练样本之外的外推能力，实现在小数据集上的鲁棒预测。
• 在仅使用手工设计特征的前提下，实现与深度学习模型相当或更优的性能。

提出的方法

• 使用代价敏感决策森林挖掘测试样本周围的‘安全’局部邻域，优先选择少数类样本，以减少错误样本的影响。
• 将选定的邻域划分为多个重叠的、具有类别判别性的聚类，以最小化多数类的主导影响。
• 将每个聚类建模为仿射子空间，以捕捉局部几何结构并支持线性近似。
• 通过迭代的DSNA算法，在这些子空间中寻找测试样本的最优近似，实现无偏预测。
• 通过调整近似目标函数与输出层，该方法同时支持分类与回归任务。
• 端到端地将结构化边缘检测（SE）与DSNA（CS-SE+DSNA）结合，用于边缘预测任务。

实验结果

研究问题

• RQ1 基于代价敏感学习的局部邻域选择策略，能否改善数据不平衡场景下少数类的表示？
• RQ2 在局部邻域内采用重叠的、具有判别性的聚类，能否通过减少类别主导性来提升预测准确率？
• RQ3 将聚类建模为仿射子空间，能否实现更好的泛化能力与对未见少数类样本的外推能力？
• RQ4 在仅使用手工特征的前提下，基于DSNA的浅层学习方法能否在类别不平衡的视觉任务中超越深度学习模型？
• RQ5 当训练与测试数据来自不同分布时，该方法在不同数据集间的泛化能力如何？

主要发现

• 在BSDS500数据集上，CS-SE+DSNA在边缘检测任务中优于所有浅层方法及大多数深度模型，取得0.77 ODS、0.79 OIS与0.81 AP的性能，与HED相当。
• 在NYU数据集上，CS-SE+DSNA在跨数据集泛化中取得0.62 ODS与0.63 OIS，优于SE与DeepContour。
• 当数据被移除时，该方法的性能下降更平缓，表明其在小规模、类别不平衡数据集上具有强大鲁棒性。
• 可视化结果表明，生成的边缘图更清晰，少数类边缘得以保留，同时未牺牲背景质量，证实了对少数类的更好预测能力。
• 即使少数类在训练集中完全缺失（如FG-NET中年龄>60的样本），该方法仍能保持高性能，证明其具备外推能力。
• DSNA在分类与回归任务中均达到最先进性能，且无需深度神经网络架构或复杂重加权机制。