[논문 리뷰] Sparse Deep Stacking Network for Image Classification

Jun Li, Heyou Chang외 1명|arXiv (Cornell University)|2015. 01. 05.

Advanced Image and Video Retrieval Techniques참고 문헌 33인용 수 29

한 줄 요약

이 논문은 그룹 스퍼스 리귤러라이제이션($l_{1}/l_{2}$ 노름)을 단순화된 신경망 모듈(SNNM)에 통합하여 효율적인 분류 가능한 스퍼스 표현을 학습하는 스퍼스 딥 스태킹 네트워크(S-DSN)를 제안한다. 이 모델은 선형 분류기만을 사용하여 15 Scene 데이터셋에서 98.8%의 정확도를 달성하며, LC-KSVD, DSN 및 DeepSC와 같은 최신 기법들을 능가한다.

ABSTRACT

Sparse coding can learn good robust representation to noise and model more higher-order representation for image classification. However, the inference algorithm is computationally expensive even though the supervised signals are used to learn compact and discriminative dictionaries in sparse coding techniques. Luckily, a simplified neural network module (SNNM) has been proposed to directly learn the discriminative dictionaries for avoiding the expensive inference. But the SNNM module ignores the sparse representations. Therefore, we propose a sparse SNNM module by adding the mixed-norm regularization (l1/l2 norm). The sparse SNNM modules are further stacked to build a sparse deep stacking network (S-DSN). In the experiments, we evaluate S-DSN with four databases, including Extended YaleB, AR, 15 scene and Caltech101. Experimental results show that our model outperforms related classification methods with only a linear classifier. It is worth noting that we reach 98.8% recognition accuracy on 15 scene.

연구 동기 및 목표

• 스퍼스 코딩 추론의 높은 계산 비용을 줄이면서도 노이즈에 대한 강건성과 고차원 특징 모델링 능력을 유지하기 위해.
• 기존의 딥 스태킹 네트워크(DSN)가 은닉층에서 스퍼스 표현을 忽시하는 한계를 극복하기 위해.
• 모델 복잡도나 연결 수를 증가시키지 않으면서도 스퍼스 표현 학습을 SNNM 모듈에 통합하기 위해.
• 빠른 추론을 유지하면서도 선형 분류기만을 사용하여 분류 정확도를 향상시키는 확장 가능한 딥 아키텍처 개발하기 위해.

제안 방법

• 은닉 표현에서 그룹 스퍼스를 강제하기 위해 $l_{1}/l_{2}$ 노름 정규화를 추가한 스퍼스 SNNM 모듈을 제안한다.
• 기존의 시그모이드 함수만을 사용하는 설계보다 학습 속도와 성능을 향상시키기 위해 SNNM 모듈에서 ReLU와 시그모이드 활성화 함수를 함께 사용한다.
• 여러 개의 스퍼스 SNNM 모듈을 스택하여 계층적 특징 추상화를 가능하게 하는 딥 스태킹 네트워크(S-DSN)를 구성한다.
• 하위층 가중치는 볼록 최적화를 통해, 상위층 가중치는 경사 하강법을 통해 학습시켜 분류 가능한 딕셔너리 학습을 보장한다.
• 일반화 성능 평가를 위해 공간 피라미드 특징과 무작위 얼굴 특징을 입력으로 사용한다.
• 최종 예측을 위해 선형 분류기를 사용하여, 모델의 강점이 복잡한 비선형 결정 경계가 아니라 표현 학습에 있음을 입증한다.

실험 결과

연구 질문

• RQ1 스퍼스 표현이 $l_{1}/l_{2}$ 정규화를 통해 학습될 경우, 딥 네트워크에서 빠른 추론을 유지하면서도 이미지 분류 정확도를 향상시킬 수 있는가?
• RQ2 SNNM 모듈에 스퍼스를 통합할 경우, 기존의 DSN이나 LC-KSVD와 같은 스퍼스 코딩 기법보다 성능 향상이 이루어지는가?
• RQ3 활성화 함수의 선택(ReLU 대비 시그모이드)이 S-DSN 내 스퍼스 SNNM 모듈의 성능에 어떤 영향을 미치는가?
• RQ4 은닉 유닛 수나 레이어 수를 늘릴 경우, S-DSN 아키텍처에서 분류 정확도는 어느 정도 향상되는가?
• RQ5 S-DSN은 복잡한 딥 모델보다 더 높은 성능을 내기 위해 선형 분류기만을 사용하여 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• S-DSN(relu)-1은 15 Scene 데이터셋에서 98.8%의 인식 정확도를 기록하여 LC-KSVD(5.9% 향상) 및 기타 딥 모델을 크게 앞서며 뛰어난 성능을 보였다.
• Caltech101에서 S-DSN(relu)-1은 카테고리당 30개의 샘플을 사용하여 76.2%의 정확도를 달성했으며, DSN보다 1.5% 향상되고 LC-KSVD보다 2.6% 높았다.
• 은닉 유닛 수가 100에서 3000으로 증가함에 따라 성능이 향상되며, 다양한 유닛 수에서도 높은 정확도를 유지했다.
• 레이어 수를 늘릴수록 분류 정확도가 향상되어 S-DSN에서 깊이 있는 계층적 특징 추상화의 이점이 확인되었다.
• S-DSN(sigm)-1과 S-DSN(relu)-1 모두 모든 데이터셋에서 DSN 및 기타 딕셔너리 학습 기법보다 뛰어난 성능을 보였으며, 스퍼스성과 더 나은 활성화 함수의 이점이 입증되었다.
• 혼동 행렬 분석 결과, 산업 및 상점 카테고리가 가장 자주 잘못 분류되었으며, 이는 잠재적인 클래스 유사성 또는 특징의 모호성 때문일 수 있다.