[논문 리뷰] A Lightened CNN for Deep Face Representation

Xiang Wu, Ran He외 1명|arXiv (Cornell University)|2015. 11. 09.

Face recognition and analysis참고 문헌 26인용 수 139

한 줄 요약

이 논문은 최대 기능 맵(MFM) 활성화 함수와 아키텍처 최적화를 사용하여 압축된 얼굴 표현을 학습하는 경량화된 CNN 프레임워크를 제안한다. ReLU를 MFM로 대체하고 NIN 모듈을 통합함으로써, VGG보다 9배 이상의 계산 비용 절감을 이룩하면서도 LFW와 YTF에서 최신 기술 수준의 정확도를 달성하며, 파라미터 수는 약 400만 개에 불과하다.

ABSTRACT

Convolution neural network (CNN) has significantly pushed forward the development of face recognition techniques. To achieve ultimate accuracy, CNN models tend to be deeper or multiple local facial patch ensemble, which result in a waste of time and space. To alleviate this issue, this paper studies a lightened CNN framework to learn a compact embedding for face representation. First, we introduce the concept of maxout in the fully connected layer to the convolution layer, which leads to a new activation function, named Max-Feature-Map (MFM). Compared with widely used ReLU, MFM can simultaneously capture compact representation and competitive information. Then, one shallow CNN model is constructed by 4 convolution layers and totally contains about 4M parameters; and the other is constructed by reducing the kernel size of convolution layers and adding Network in Network (NIN) layers between convolution layers based on the previous one. These models are trained on the CASIA-WebFace dataset and evaluated on the LFW and YTF datasets. Experimental results show that the proposed models achieve state-of-the-art results. At the same time, a reduction of computational cost is reached by over 9 times in comparison with the released VGG model.

연구 동기 및 목표

• 정확도를 희생시키지 않은 채 깊이 있는 얼굴 인식에서의 계산 비용을 줄이기 위해.
• 더 적은 파라미터와 연산을 사용하면서도 높은 성능을 유지하는 압축된 CNN 아키텍처를 설계하기 위해.
• 최대 기능 맵(MFM)을 ReLU의 대안으로 사용하여 합성곱 층에서의 특징 표현을 향상시키기 위해.
• 네트워크 깊이와 커널 크기를 최적화하면서도 NIN 블록과 같은 아키텍처 혁신을 통해 분류 능력을 유지하기 위해.

제안 방법

• 합성곱 층에서 ReLU를 대체하여 특징의 압축성과 정보 유지 능력을 향상시키기 위해 최신 활성화 함수인 최대 기능 맵(MFM)을 도입한다.
• 효율적인 훈련과 추론을 위해 약 400만 개의 파라미터를 가진 얕은 CNN(4개의 합성곱 레이어)을 구성한다.
• 기본 모델을 개선하기 위해 커널 크기를 줄이고 합성곱 레이어 사이에 네트워크 인 네트워크(NIN) 모듈을 삽입하여 표현 능력을 향상시킨다.
• CASIA-WebFace 데이터셋에서 모델을 훈련하고, LFW와 YTF 벤치마크 데이터셋에서 성능을 평가한다.
• 표준 훈련 프로토콜을 사용하며 데이터 증강 및 최적화 기법을 적용하여 일반화 능력을 극대화한다.
• 속도 및 파라미터 수 감소를 정량화하기 위해 공개된 VGG 모델과의 계산 효율성과 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 400만 개 미만의 파라미터를 가진 압축된 CNN이 얼굴 인식에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 최대 기능 맵(MFM) 활성화 함수가 복잡도를 줄이면서도 더 나은 분류 능력을 갖춘 얼굴 표현을 학습하는 데 ReLU를 능가하는가?
• RQ3 커널 크기 감소와 NIN 모듈 같은 아키텍처 수정이 깊이를 늘리지 않으면서도 성능 향상에 얼마나 기여하는가?
• RQ4 특히 추론 속도와 파라미터 수 측면에서 제안된 모델은 VGG 모델에 비해 얼마나 계산 효율성이 높은가?

주요 결과

• 제안된 경량화된 CNN는 MFM과 NIN 모듈을 활용하여 LFW와 YTF 얼굴 인식 벤치마크에서 최신 기술 수준의 정확도를 달성한다.
• 공개된 VGG 모델 대비 계산 비용을 9배 이상 절감하면서도 높은 성능을 유지한다.
• MFM 활성화 함수는 얼굴 임베딩 맥락에서 ReLU보다 더 압축적이고 경쟁력 있는 특징 표현을 가능하게 한다.
• 작은 커널 크기와 NIN 블록을 가진 아키텍처는 깊이 또는 파라미터 수를 크게 늘리지 않으면서도 표현 능력을 향상시킨다.
• 최종 모델는 약 400만 개의 파라미터만을 포함하여 실시간 또는 모바일 배포에 매우 효율적임을 보여준다.
• LFW와 YTF 데이터셋 양쪽 모두에서 강력한 일반화 능력을 확보하여 다양한 얼굴 인식 시나리오에서의 견고함을 확인한다.