[論文レビュー] E-PixelHop: An Enhanced PixelHop Method for Object Classification

Yijing Yang, Vasileios Magoulianitis+1 more|arXiv (Cornell University)|Jul 7, 2021

Advanced Neural Network Applications参考文献 42被引用数 4

ひとこと要約

E-PixelHop は、 successive subspace learning (SSL) フレームワークに基づき、PCA を用いた色成分の分離、予測の一貫性を高めるための教師付きラベルスムージング (SLS) を用いたマルチスケール画素レベル分類、および混乱するクラスを解消する二段階パイプラインを導入することで、PixelHop++ を改善したオブジェクト分類手法を提案する。CIFAR-10 で 76.18% のテスト精度を達成し、PixelHop++ よりも 9.37% 高い性能を示す。

ABSTRACT

Based on PixelHop and PixelHop++, which are recently developed using the successive subspace learning (SSL) framework, we propose an enhanced solution for object classification, called E-PixelHop, in this work. E-PixelHop consists of the following steps. First, to decouple the color channels for a color image, we apply principle component analysis and project RGB three color channels onto two principle subspaces which are processed separately for classification. Second, to address the importance of multi-scale features, we conduct pixel-level classification at each hop with various receptive fields. Third, to further improve pixel-level classification accuracy, we develop a supervised label smoothing (SLS) scheme to ensure prediction consistency. Forth, pixel-level decisions from each hop and from each color subspace are fused together for image-level decision. Fifth, to resolve confusing classes for further performance boosting, we formulate E-PixelHop as a two-stage pipeline. In the first stage, multi-class classification is performed to get a soft decision for each class, where the top 2 classes with the highest probabilities are called confusing classes. Then,we conduct a binary classification in the second stage. The main contributions lie in Steps 1, 3 and 5.We use the classification of the CIFAR-10 dataset as an example to demonstrate the effectiveness of the above-mentioned key components of E-PixelHop.

研究の動機と目的

• 既存の SSL ベース手法（PixelHop や PixelHop++）が色画像およびマルチスケール特徴を処理する点での限界を是正すること。
• 画素レベルの予測の一貫性を向上させるために、画素間およびホップ間の予測の一貫性を強化する新しい教師付きラベルスムージング（SLS）スキームを提案すること。
• 特にトップ2の予測クラスに対して、二段階パイプラインを用いて混乱するクラスを解消することで、全体の分類精度を向上させること。
• CIFAR-10 などの標準ベンチマークで性能を向上させる一方で、モデルの透明性を維持し、計算コストを低減すること。

提案手法

• PCA を用いて RGB 色成分を2つの主成分部分空間に分解し、別々に処理することで特徴抽出の精度を向上させる。
• 異なる受容野を持つ各ホップで画素レベルの分類を実行し、マルチスケールの空間的・スペクトル的特徴を捉える。
• 画素内およびホップ間の予測一貫性を強化するために、教師付きラベルスムージング（SLS）を適用し、モデルのロバスト性と精度を向上させる。
• 全ホップおよび色成分部分空間からの画素レベル意思決定をメタ分類器を用いて融合し、最終的な画像レベルの意思決定を生成する。
• 二段階分類パイプラインを実装：第一段階では、トップ2の混乱クラスを特定する多クラス分類；第二段階では、これらのクラス集合に対して one-vs-one のバイナリ分類を実行。
• 混乱クラス解消段階では、最大3回の反復的 SLS を適用し、過剰なスムージングを回避しながら予測を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 PCA を用いた色成分分離は、色画像における SSL ベース手法の分類性能を向上させることができるか？
• RQ2 教師付きラベルスムージング（SLS）は、複数のホップにわたる画素レベルの予測一貫性と全体の精度をどの程度向上させるか？
• RQ3 混乱するクラスを解消する二段階分類パイプラインは、オブジェクト分類ベンチマークで測定可能な性能向上をもたらすか？
• RQ4 適切に融合された場合、異なるホップからのマルチスケール特徴は、最終的な画像レベル分類にどのように寄与するか？

主な発見

• E-PixelHop は CIFAR-10 データセットで 76.18% のテスト精度を達成し、これは PixelHop++ よりも 9.37% の向上である。
• アブレーションスタディの結果、色成分分解、SLS、二段階の混乱セット解消を組み合わせることで、最大の性能向上が得られることを確認した。
• 3回の反復的 SLS を適用した場合、個々のホップの精度が早期に飽和しても、アンサンブル性能が顕著に向上した。
• 特に混乱セット解消段階で反復的 SLS を適用した二段階パイプラインが、最終的な精度向上に最も寄与しており、ベースラインの 73.72% から 76.18% まで向上させた。
• すべてのベンチマークで、変更版 LeNet-5、PixelHop、PixelHop+、PixelHop++ を上回る性能を示し、優れた一般化能力とロバスト性を示した。
• データオーグメンテーションをメタ分類器および混乱セットの学習に限定することで、モデルの効率性を維持しながら一般化性能を向上させた。