[논문 리뷰] CIFAR-10: KNN-based Ensemble of Classifiers

Yehya Abouelnaga, Ola S. Ali외 2명|arXiv (Cornell University)|2016. 11. 15.

Advanced Neural Network Applications참고 문헌 18인용 수 7

한 줄 요약

이 논문은 K-최근접 이웃(KNN)과 컨volution 신경망(CNN)을 조합하여 CIFAR-10 데이터셋에서 분류 정확도를 향상시키기 위해 KNN 기반 앙상블을 제안한다. 주성분 분석(PCA)을 통해 KNN의 과적합을 줄이고, 앙상블 가중치를 위한 전수 탐색을 실시함으로써, 최고의 단일 CNN 모델의 정확도를 93.33%에서 94.03%로 향상시켰다.

ABSTRACT

In this paper, we study the performance of different classifiers on the CIFAR-10 dataset, and build an ensemble of classifiers to reach a better performance. We show that, on CIFAR-10, K-Nearest Neighbors (KNN) and Convolutional Neural Network (CNN), on some classes, are mutually exclusive, thus yield in higher accuracy when combined. We reduce KNN overfitting using Principal Component Analysis (PCA), and ensemble it with a CNN to increase its accuracy. Our approach improves our best CNN model from 93.33% to 94.03%.

연구 동기 및 목표

• 분류기 앙상블를 통해 CIFAR-10 데이터셋에서 최신 기술 수준의 정확도를 향상시키는 것.
• ‘고양이’, ‘개’, ‘말’과 같은 모호한 이미지 클래스를 다룰 때 KNN과 CNN 간의 상호보완적 성질을 조사하는 것.
• 이미지 특징에 대해 주성분 분석(PCA)을 적용하여 KNN의 과적합을 줄이는 것.
• 특히 전수 탐색을 통한 앙상블 가중치 전략의 효과성을 평가하여 CNN 및 KNN 예측을 조합하는 것.
• 다양한 특징 추출기(예: PCA, SIFT, HOG)가 모델 일반화 및 테스트 정확도에 미치는 영향을 분석하는 것.

제안 방법

• KNN의 과적합을 완화하기 위해 CIFAR-10 이미지 특징의 차원을 감소시키기 위해 PCA를 활용하였으며, CNN의 경우 3,072개에서 200개의 성분으로, KNN의 경우 30개의 성분으로 압축하였다.
• 배치 정규화, ReLU 활성화 함수, 최대 풀링, 드롭아웃 레이어를 포함한 딥 CNN을 훈련시켜 93.33%의 테스트 정확도를 달성하였다.
• 최적화된 k 값과 PCA로 압축된 특징(30개 성분)을 사용한 KNN을 적용하여 형태에 민감한 클래스에서 결정의 강건성을 향상시켰다.
• CNN 및 KNN 예측을 조합하기 위해 가능한 가중치 조합에 대한 전수 탐색을 통해 가중치가 부여된 앙상블을 구현하였다.
• CNN1–CNN4의 여러 CNN 모델을 가중치 평균을 통해 융합하여 KNN와 조합하기 전에 더 강력한 기본 앙상블을 생성하였다.
• 표준 평가 지표를 사용하여 10,000개의 이미지로 구성된 테스트 세트에서 성능을 평가하였으며, 개별 모델과 앙상블 간의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 KNN는 ‘고양이’, ‘개’, ‘말’과 같은 모호한 CIFAR-10 클래스를 분류할 때 CNN과 어떻게 상호보완적인가?
• RQ2 KNN의 과적합을 줄이면서도 분류 능력을 유지하기 위해 최적의 PCA 성분 수는 얼마인가?
• RQ3 CNN과 KNN의 앙상블은 개별 모델을 초월할 수 있는가? 만약 그렇다면, 얼마나 향상되는가?
• RQ4 가중치 투표 앙상블에서 CNN과 KNN을 조합하기 위한 전수 탐색의 효과성은 어떠한가?
• RQ5 특징 추출 방법(예: PCA, SIFT, HOG) 중에서 CIFAR-10에서 다양한 분류기 간의 일반화 능력을 향상시키는 데 가장 효과적인 것은 무엇인가?

주요 결과

• CNN과 KNN의 앙상블은 테스트 정확도 94.03%를 달성하여, 최고의 단일 CNN 모델(93.33%)보다 0.7% 향상되었다.
• PCA 성분 수가 30개인 KNN가 모든 KNN 설정 중에서 가장 높은 테스트 정확도(41.78%)를 기록했으며, 더 높은 성분 수보다 뛰어났다.
• PCA를 사용한 200개 성분은 로지스틱 회귀 및 그래디언트 부스팅의 테스트 정확도를 향상시켰지만, 다른 특징 추출기(SIFT, SURF, ORB, HOG)는 일반화 능력을 악화시켰다.
• CNN 융합 모델(CNN1–CNN4)은 93.99%의 정확도를 기록했으며, KNN와 조합된 이후 94.03%로 상승하여 앙상블 통합의 가치를 입증하였다.
• KNN는 ‘고양이’, ‘개’, ‘말’과 같은 형태에 민감한 클래스에서 CNN의 성능을 향상시켜, 형태 유사성으로 인한 오분류를 수정하였다.
• 예를 들어 ‘선박이 차량 위에 있는’ 등 형태가 모호한 이미지에서는 KNN의 기하학적 투표가 CNN의 형태에 대한 민감도 부족을 보완하여 예측 성능을 향상시켰다.