[논문 리뷰] Sparsifying Neural Network Connections for Face Recognition

Yi Sun, Xiaogang Wang외 1명|arXiv (Cornell University)|2015. 12. 07.

Face recognition and analysis참고 문헌 24인용 수 6

한 줄 요약

이 논문은 얼굴 인식을 위한 깊이 신경망의 반복적이고 상관관계 기반의 희소화 방법을 제안한다. 먼저 밀도 높은 기준 모델을 훈련한 후, 신경 활성화 상관관계를 사용하여 점진적으로 연결을 제거한다. 이 방법은 LFW에서 99.55%의 정확도를 달성하며 파라미터 수를 기존의 12%로 줄여, 동일한 훈련 데이터를 사용한 DeepID2+를 능가한다.

ABSTRACT

This paper proposes to learn high-performance deep ConvNets with sparse neural connections, referred to as sparse ConvNets, for face recognition. The sparse ConvNets are learned in an iterative way, each time one additional layer is sparsified and the entire model is re-trained given the initial weights learned in previous iterations. One important finding is that directly training the sparse ConvNet from scratch failed to find good solutions for face recognition, while using a previously learned denser model to properly initialize a sparser model is critical to continue learning effective features for face recognition. This paper also proposes a new neural correlation-based weight selection criterion and empirically verifies its effectiveness in selecting informative connections from previously learned models in each iteration. When taking a moderately sparse structure (26%-76% of weights in the dense model), the proposed sparse ConvNet model significantly improves the face recognition performance of the previous state-of-the-art DeepID2+ models given the same training data, while it keeps the performance of the baseline model with only 12% of the original parameters.

연구 동기 및 목표

• 통제된 희소성으로 희소한 깊이 신경망을 학습하여 얼굴 인식 성능을 향상시키기.
• 중요한 연결을 선택하는 데에 무게 크기나 두 번째 도함수보다 신경 활성화 상관관계가 더 나은 지표가 되는지 조사하기.
• 사전 훈련된 밀도 높은 모델에서 초기화한 희소 모델이 희소 모델을 처음부터 훈련하는 것보다 더 나은 특징 학습을 가능하게 하는지 확인하기.
• 자원 제약이 있는 플랫폼에 배포하기 위해 크게 줄어든 모델 크기로도 높은 성능를 달성하기.
• YouTube Faces와 같은 도전적인 데이터셋에서 희소 ConvNet의 일반화 및 내성성 평가하기.

제안 방법

• 약 300,000장의 얼굴 이미지에서 고성능의 밀도 높은 VGG 유사 ConvNet을 기준 모델로 훈련한다.
• 마지막 레이어부터 시작하여 한 번에 한 레이어씩 반복적으로 희소화하고, 이전 모델의 가중치를 초기화로 사용하여 전체 모델을 재훈련한다.
• 연결을 유지할지 선택하기 위해 신경 활성화 패턴 간의 상관관계를 기반으로 한 기준을 사용한다.
• 단일 파라미터를 통해 희소성 수준을 제어하여 모델 크기와 성능 사이의 체계적 트레이드오프를 가능하게 한다.
• 다양한 얼굴 영역과 스케일에서 훈련된 25개 모델의 앙상블에 동일한 희소화 과정을 적용한다.
• 앙상블의 특징을 융합하여 LFW와 YouTube Faces에서 최종적인 최고 성능을 달성한다.

실험 결과

연구 질문

• RQ1 상관관계 기반 희소화를 사용한 반복적이고 계층 기반의 희소화가 밀도 높은 모델 대비 얼굴 인식 정확도 향상에 기여하는가?
• RQ2 사전 훈련된 밀도 높은 모델에서 초기화하는 것이 좋은 성능를 달성하기 위해 필수적인가, 아니면 처음부터 훈련한 희소 모델은 나쁜 국소 최적화에 갇아 좋은 해를 얻지 못하는가?
• RQ3 신경 활성화 상관관계가 무게 크기나 이阶 도함수보다 연결 선택에 더 나은 기준을 제공하는가?
• RQ4 성능 유지를 또는 향상시키면서 얼마나 많은 모델 크기를 줄일 수 있는가?
• RQ5 제안된 희소 ConvNet이 YouTube Faces와 같은 도메인 외부 데이터셋으로 일반화되는 정도는 어느 정도인가?

주요 결과

• 제안된 희소 ConvNet은 LFW에서 99.55%의 얼굴 검증 정확도를 달성하여 동일한 훈련 데이터를 사용한 이전 최고 성능인 DeepID2+ 앙상블(99.47%)을 뛰어넘었다.
• 모델의 원래 파라미터 수의 12%만을 사용해도 98.95%의 정확도를 유지하여 강력한 압축 효율성을 입증했다.
• 완전 연결층(1/256)에 희소화를 적용하면 평균 정확도가 0.18% 향상되었고, 국소 연결층(1/128)에 적용하면 0.17% 향상되었다.
• 25개의 희소 ConvNet 앙상블은 YouTube Faces에서 93.5%의 정확도를 달성하여 더 도전적인 이 데이터셋에서 DeepID2+ 앙상블(93.2%)을 능가했다.
• LFW에서 모델은 닫힌 집합 정식화 정확도 0.962와 열린 집합 정식화 정확도 0.864를 기록하여 DeepID2+의 0.950과 0.807을 각각 향상시켰다.
• 희소 모델을 처음부터 직접 훈련하는 것은 수렴에 실패하여, 효과적인 초기화를 위해 밀도 높은 모델의 사전 훈련이 필수적임을 확인했다.