[논문 리뷰] Efficient Gender Classification Using a Deep LDA-Pruned Net

Qing Tian, Tal Arbel외 1명|arXiv (Cornell University)|2017. 04. 20.

Face recognition and analysis참고 문헌 45인용 수 7

한 줄 요약

이 논문은 VGG-16에서 Fisher의 선형 판별 분 析(LDA)를 사용하여 최종 합성곱층의 부용한 뉴런을 식별하고 제거함으로써 경량화된 16층의 딥 네트워크를 제안한다. 이로 인해 모델 크기가 70배 감소하고, 추론 속도가 11배 향상되며, LFW 및 CelebA 데이터셋에서 정확도를 유지하거나 향상시킬 수 있다. 압축된 특징은 베이지안 또는 SVM 분류기로 효율적으로 분류되며, CPU 및 모바일 장치에서 실시간 배포가 가능하다.

ABSTRACT

Many real-time tasks, such as human-computer interaction, require fast and efficient facial gender classification. Although deep CNN nets have been very effective for a multitude of classification tasks, their high space and time demands make them impractical for personal computers and mobile devices without a powerful GPU. In this paper, we develop a 16-layer, yet lightweight, neural network which boosts efficiency while maintaining high accuracy. Our net is pruned from the VGG-16 model starting from the last convolutional (conv) layer where we find neuron activations are highly uncorrelated given the gender. Through Fisher's Linear Discriminant Analysis (LDA), we show that this high decorrelation makes it safe to discard directly last conv layer neurons with high within-class variance and low between-class variance. Combined with either Support Vector Machines (SVM) or Bayesian classification, the reduced CNNs are capable of achieving comparable (or even higher) accuracies on the LFW and CelebA datasets than the original net with fully connected layers. On LFW, only four Conv5_3 neurons are able to maintain a comparably high recognition accuracy, which results in a reduction of total network size by a factor of 70X with a 11 fold speedup. Comparisons with a state-of-the-art pruning method as well as two smaller nets in terms of accuracy loss and convolutional layers pruning rate are also provided.

연구 동기 및 목표

• 모바일 기기 및 임베디드 시스템과 같은 자원이 제한된 장치에서 실시간 얼굴 성별 분류를 가능하게 하기 위해.
• 분류 정확도를 훼손하지 않으면서 딥 CNN의 계산 및 메모리 사용량을 줄이기 위해.
• 기존에 훈련된 딥 네트워크의 최종 합성곱층에서 통계적 상관 없는 분석을 통해 부용한 뉴런을 식별하고 제거하기 위해.
• 비용이 많이 드는 완전 연결층을 성능을 유지하거나 향상시키는 경량 분류기(SVM, 베이지안)로 대체하기 위해.
• 클래스별로 특화된 뉴런의 상관 없는 정도를 기반으로 한 압축 기법이 가중치 크기 기반의 압축보다 더 효과적임을 입증하기 위해.

제안 방법

• 최종 합성곱층(Conv5_3)의 활성화값에 Fisher의 선형 판별 분석(LDA)을 적용하여, 클래스 간 분산이 낮고 클래스 내 분산이 높은 뉴런을 식별하기 위해.
• 클래스 간 분산이 낮고 클래스 내 분산이 높은 뉴런을 압축하여, 분류 성능에 기여하는 기여도가 낮은 뉴런을 제거하기 위해.
• 압축 후 성능을 유지하기 위해 남아있는 뉴런만을 사용하여 네트워크 재학습을 수행하기 위해.
• 기존의 완전 연결층을 베이지안 및 선형/RBF 커널을 사용하는 SVM과 같은 경량 분류기로 대체하기 위해.
• LFW 및 CelebA 데이터셋에서 압축된 네트워크에 대해 다양한 분류기를 평가하여 정확도 및 효율성 측정하기 위해.
• 다양한 압축 비율과 비교 방법에 대해 모델 크기, 추론 속도, 정확도 손실 측정하기 위해.

실험 결과

연구 질문

• RQ1 최종 합성곱층에서 통계적 상관 없는 정도 분석을 기반으로 한 뉴런 압축이 정확도를 떨어뜨리지 않으면서 모델 크기와 추론 시간을 크게 줄일 수 있는가?
• RQ2 완전 연결층을 SVM, 베이지안과 같은 경량 분류기로 대체할 경우 원래의 FC 레이어와 비교해 유사하거나 더 높은 성능을 낼 수 있는가?
• RQ3 LDA 기반 압축 기법은 가중치 크기 기반의 압축 기법과 비교해 정확도 손실과 압축 효율성 측면에서 어떻게 다른가?
• RQ4 압축된 경량 네트워크는 부분적인 가림이나 복잡한 배경이 있는 도전적인 데이터셋(LFW 및 CelebA)에서도 높은 정확도를 달성할 수 있는가?
• RQ5 메모리 및 계산 요구량이 감소함에 따라, 압축된 네트워크는 모바일 또는 임베디드 시스템에 얼마나 잘 배포될 수 있는가?

주요 결과

• LDA를 통해 압축된 네트워크는 LFW 및 CelebA에서 높은 정확도를 유지하면서 모델 크기를 70배 감소시켰다(500MB 이상에서 7MB로).
• LFW에서 높은 인식 정확도를 유지하기 위해 Conv5_3층에서 단 4개의 뉴런만 필요로 했으며, 이는 70배의 모델 크기 감소를 가능하게 했다.
• 원래의 VGG-16보다도 추론 시간이 11배 빨라졌으며, 이는 CPU에서도 테스트된 결과이다.
• LDA로 압축된 특징과 베이지안 또는 SVM 분류기의 조합은 부분적인 가림이나 블러가 있는 도전적인 케이스에서 원래의 완전 연결층보다 더 뛰어난 성능을 보였다.
• 특히 합성곱층 압축에서 높은 압축률(85% 이상)을 적용했을 때, 최신의 가중치 기반 압축 기법보다 정확도 손실가 낮았다.
• 대체 분류기의 저장소 오버헤드는 매우 작았다—베이지안은 2MB, SVM은 30KB 뿐이었으며, 이는 전체 시스템이 모바일 배포에 매우 적합함을 의미한다.