[论文解读] E-PixelHop: An Enhanced PixelHop Method for Object Classification

Yijing Yang, Vasileios Magoulianitis+1 more|arXiv (Cornell University)|Jul 7, 2021

Advanced Neural Network Applications参考文献 42被引用 4

一句话总结

E-PixelHop 提出了一种基于连续子空间学习（SSL）框架的增强型目标分类方法，通过主成分分析（PCA）实现颜色通道解耦，结合多尺度像素级分类与有监督标签平滑（SLS）以提升预测一致性，并采用两阶段流程解决易混淆类别问题。该方法在 CIFAR-10 上实现了 76.18% 的测试准确率，较 PixelHop++ 提升 9.37%。

ABSTRACT

Based on PixelHop and PixelHop++, which are recently developed using the successive subspace learning (SSL) framework, we propose an enhanced solution for object classification, called E-PixelHop, in this work. E-PixelHop consists of the following steps. First, to decouple the color channels for a color image, we apply principle component analysis and project RGB three color channels onto two principle subspaces which are processed separately for classification. Second, to address the importance of multi-scale features, we conduct pixel-level classification at each hop with various receptive fields. Third, to further improve pixel-level classification accuracy, we develop a supervised label smoothing (SLS) scheme to ensure prediction consistency. Forth, pixel-level decisions from each hop and from each color subspace are fused together for image-level decision. Fifth, to resolve confusing classes for further performance boosting, we formulate E-PixelHop as a two-stage pipeline. In the first stage, multi-class classification is performed to get a soft decision for each class, where the top 2 classes with the highest probabilities are called confusing classes. Then,we conduct a binary classification in the second stage. The main contributions lie in Steps 1, 3 and 5.We use the classification of the CIFAR-10 dataset as an example to demonstrate the effectiveness of the above-mentioned key components of E-PixelHop.

研究动机与目标

• 为解决现有基于 SSL 的方法（如 PixelHop 和 PixelHop++）在处理彩色图像和多尺度特征方面的局限性。
• 通过新颖的有监督标签平滑（SLS）方案，提升跨层级与多尺度的像素级预测一致性。
• 通过两阶段流程解决易混淆类别问题，尤其针对 top-2 预测类别，从而提升整体分类准确率。
• 在保持模型可解释性并降低计算成本的同时，提升在 CIFAR-10 等标准基准上的性能表现。

提出的方法

• 利用 PCA 将 RGB 颜色通道分解为两个主子空间，实现独立处理并提升特征提取能力。
• 在每一层级执行像素级分类，采用不同感受野以捕获多尺度的时空特征。
• 应用有监督标签平滑（SLS）以强化层级内与层级间预测的一致性，提升模型鲁棒性与准确率。
• 通过元分类器融合所有层级与颜色子空间的像素级决策，生成最终的图像级分类结果。
• 实施两阶段分类流程：第一阶段为多类别分类，用于识别 top-2 易混淆类别；第二阶段在这些类别集合上执行一对一二分类。
• 在混淆类别集解决阶段采用最多 3 次迭代的 SLS，以精细化预测结果，避免过度平滑。

实验结果

研究问题

• RQ1 基于 PCA 的颜色通道解耦是否能提升 SSL 方法在彩色图像上的分类性能？
• RQ2 有监督标签平滑（SLS）在多层级上的应用，能在多大程度上增强像素级预测一致性与整体准确率？
• RQ3 一种通过解决易混淆类别问题的两阶段分类流程，是否能在目标分类基准上带来可测量的性能提升？
• RQ4 当适当地融合时，不同层级的多尺度特征如何共同贡献于最终的图像级分类？

主要发现

• E-PixelHop 在 CIFAR-10 数据集上实现了 76.18% 的测试准确率，相较 PixelHop++ 提升 9.37%。
• 消融实验表明，颜色通道分解、SLS 与两阶段混淆集解决机制的组合带来了最高的性能增益。
• 采用三次迭代的有监督标签平滑（SLS）显著提升了集成性能，尽管单一层级的准确率在早期即趋于饱和。
• 两阶段流程，尤其是混淆集解决阶段采用迭代 SLS，对最终准确率提升贡献最大，使性能从基线的 73.72% 提升至 76.18%。
• 该方法在所有基准测试中均优于改进后的 LeNet-5、PixelHop、PixelHop+ 与 PixelHop++，展现出更优的泛化能力与鲁棒性。
• 仅在元分类器与混淆集训练中使用数据增强，既保持了模型效率，又提升了泛化能力。