[논문 리뷰] E-PixelHop: An Enhanced PixelHop Method for Object Classification

Yijing Yang, Vasileios Magoulianitis외 1명|arXiv (Cornell University)|2021. 07. 07.

Advanced Neural Network Applications참고 문헌 42인용 수 4

한 줄 요약

E-PixelHop은 순차적 부분공간 학습(SSL) 프레임워크 기반으로 개선된 객체 분류 방법을 제안하며, 주성분분석(PCA)을 통한 색채널 분리, 예측 일관성을 위한 지도 학습 레이블 스무딩(SLS)을 통한 다중 척도 픽셀 수준 분류, 그리고 혼동되는 클래스를 해결하기 위한 이단계 파이프라인을 통해 PixelHop++을 향상시킨다. CIFAR-10에서 76.18%의 테스트 정확도를 기록하며, PixelHop++보다 9.37% 높은 성능을 달성한다.

ABSTRACT

Based on PixelHop and PixelHop++, which are recently developed using the successive subspace learning (SSL) framework, we propose an enhanced solution for object classification, called E-PixelHop, in this work. E-PixelHop consists of the following steps. First, to decouple the color channels for a color image, we apply principle component analysis and project RGB three color channels onto two principle subspaces which are processed separately for classification. Second, to address the importance of multi-scale features, we conduct pixel-level classification at each hop with various receptive fields. Third, to further improve pixel-level classification accuracy, we develop a supervised label smoothing (SLS) scheme to ensure prediction consistency. Forth, pixel-level decisions from each hop and from each color subspace are fused together for image-level decision. Fifth, to resolve confusing classes for further performance boosting, we formulate E-PixelHop as a two-stage pipeline. In the first stage, multi-class classification is performed to get a soft decision for each class, where the top 2 classes with the highest probabilities are called confusing classes. Then,we conduct a binary classification in the second stage. The main contributions lie in Steps 1, 3 and 5.We use the classification of the CIFAR-10 dataset as an example to demonstrate the effectiveness of the above-mentioned key components of E-PixelHop.

연구 동기 및 목표

• 기존의 SSL 기반 방법(예: PixelHop 및 PixelHop++)이 색상 이미지와 다중 척도 특징을 다루는 데에 한계를 보이는 문제를 해결하기 위해.
• 새로운 지도 학습 레이블 스무딩(SLS) 기법을 통해 히트 간 및 히트 간 예측 일관성을 강화하여 픽셀 수준의 예측 일관성을 향상시키기 위해.
• 특히 상위 2개 예측 클래스에 대해 혼동되는 클래스를 해결하기 위한 이단계 파이프라인을 통해 전체 분류 정확도를 향상시키기 위해.
• 표준 벤치마크(예: CIFAR-10)에서 성능을 향상시키면서도 모델의 투명성과 계산 비용을 유지하기 위해.

제안 방법

• 주성분분석(PCA)을 사용해 RGB 색채널을 두 개의 주요 부분공간으로 분해하여 별도 처리 및 향상된 특징 추출을 가능하게 한다.
• 다양한 수신장(Receptive Field)을 가진 각 히트에서 픽셀 수준의 분류를 수행하여 다중 척도의 공간-스펙트럼 특징을 캡처한다.
• 히트 내 및 히트 간 예측 일관성을 강화하기 위해 지도 학습 레이블 스무딩(SLS)을 적용하여 정확도와 강건성을 향상시킨다.
• 모든 히트 및 색채널 부분공간에서의 픽셀 수준 결정을 메타-분류기로 융합하여 최종 이미지 수준의 결정을 도출한다.
• 이단계 분류 파이프라인을 구현: 첫 번째 단계는 상위 2개 혼동 클래스를 식별하기 위한 다중 클래스 분류, 두 번째 단계는 이들 집합에서의 일대일 이진 분류.
• 혼동 집합 해소 단계에서 최대 3회 반복을 수행하는 반복적 SLS를 적용하여 과도한 스무딩 없이 예측을 정밀하게 개선한다.

실험 결과

연구 질문

• RQ1 PCA 기반 색채널 분리 기법이 SSL 기반 방법에서 색상 이미지의 분류 성능 향상에 기여하는가?
• RQ2 지도 학습 레이블 스무딩(SLS)이 다중 히트 간 픽셀 수준의 예측 일관성과 전체 정확도에 얼마나 기여하는가?
• RQ3 혼동되는 클래스를 해결하기 위한 이단계 분류 파이프라인이 객체 분류 벤치마크에서 측정 가능한 성능 향상 기여를 하는가?
• RQ4 적절히 융합된 경우, 다양한 히트에서 유도된 다중 척도 특징이 최종 이미지 수준의 분류에 어떻게 기여하는가?

주요 결과

• E-PixelHop는 CIFAR-10 데이터셋에서 76.18%의 테스트 정확도를 기록하며, 이는 PixelHop++ 대비 9.37% 향상된 성능이다.
• 제거 분석 결과, 색채널 분해, SLS, 이중 단계 혼동 집합 해소 기법을 병합할 경우 성능 향상이 가장 크게 나타남을 확인하였다.
• 3회 반복을 수행하는 지도 학습 레이블 스무딩(SLS)은 개별 히트 정확도가 조기에 포화 상태에 이르더라도 앙상블 성능을 크게 향상시킨다.
• 특히 혼동 집합 해소 단계에서 반복적 SLS를 적용한 이단계 파이프라인의 기여가 가장 크며, 기준 모델(73.72%)에서 76.18%로 성능 향상이 이루어졌다.
• 모든 벤치마크에서 수정된 LeNet-5, PixelHop, PixelHop+, PixelHop++보다도 뛰어난 성능을 보이며, 뛰어난 일반화 능력과 강건성을 입증하였다.
• 데이터 증강을 메타-분류기 및 혼동 집합 학습에만 적용함으로써 모델 효율성을 유지하면서도 일반화 성능을 향상시켰다.