[논문 리뷰] A Light CNN for Deep Face Representation with Noisy Labels

Xiang Wu, Ran He외 2명|arXiv (Cornell University)|2015. 11. 09.

Face recognition and analysis참고 문헌 61인용 수 151

한 줄 요약

이 논문은 노이즈가 많은 레이블을 가진 대규모 얼굴 데이터셋으로부터 압축되고 강건한 얼굴 표현을 학습하기 위해 Max-Feature-Map (MFM) 활성화 함수를 통합한 경량 CNN 프레임워크를 제안한다. MFM를 통한 특징 선택, AlexNet, VGG, ResNet의 영감을 받은 경량 아키텍처 설계, 노이즈 레이블을 정제하기 위한 의미론적 부트스트래핑 방법을 적용함으로써, 단일 코어에서 12.6M 파라미터와 121ms 추론 시간으로도 여러 얼굴 인식 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

The volume of convolutional neural network (CNN) models proposed for face recognition has been continuously growing larger to better fit large amount of training data. When training data are obtained from internet, the labels are likely to be ambiguous and inaccurate. This paper presents a Light CNN framework to learn a compact embedding on the large-scale face data with massive noisy labels. First, we introduce a variation of maxout activation, called Max-Feature-Map (MFM), into each convolutional layer of CNN. Different from maxout activation that uses many feature maps to linearly approximate an arbitrary convex activation function, MFM does so via a competitive relationship. MFM can not only separate noisy and informative signals but also play the role of feature selection between two feature maps. Second, three networks are carefully designed to obtain better performance meanwhile reducing the number of parameters and computational costs. Lastly, a semantic bootstrapping method is proposed to make the prediction of the networks more consistent with noisy labels. Experimental results show that the proposed framework can utilize large-scale noisy data to learn a Light model that is efficient in computational costs and storage spaces. The learned single network with a 256-D representation achieves state-of-the-art results on various face benchmarks without fine-tuning. The code is released on https://github.com/AlfredXiangWu/LightCNN.

연구 동기 및 목표

• 노이즈가 풍부한 대규모 데이터셋에서 깊이 있는 얼굴 표현을 학습하는 데 도전하는 것.
• 얼굴 인식 성능을 유지하면서 모델 복잡성과 계산 비용을 줄이는 것.
• 수동 애너테이션에 의존하지 않고 대규모 얼굴 데이터셋의 노이즈 레이블을 효과적으로 정제하는 방법을 개발하는 것.
• 낮은 파라미터 수와 빠른 추론으로 최신 기술 정확도를 달성하는 경량 CNN 아키텍처를 설계하는 것.

제안 방법

• ReLU를 대체하여 특징 선택이 가능한 Max-Feature-Map (MFM)을 도입하며, 이는 낮은 활성도를 띤 뉴런을 억제함으로써 기능을 수행한다.
• AlexNet, VGG, ResNet 아키텍처의 영감을 받은 세 가지 경량 CNN 변형(Light CNN-9, -18, -29)을 설계하며, 작은 컨볼루션 필터와 Network-in-Network 모듈을 사용한다.
• 사전 훈련된 모델의 예측 신뢰도를 기반으로 훈련 샘플을 재레이블링하는 의미론적 부트스트래핑 방법을 적용하며, 임계값을 사용해 신뢰도 높은 예측을 필터링한다.
• 이중 단계의 부트스트래핑 프로세스를 사용한다: 첫 번째 단계에서는 일致성 있는 예측을 가진 고신뢰도 샘플을 재레이블링하고, 두 번째 단계에서는 낮은 임계값을 사용해 더 큰 정제된 훈련 세트를 재샘플링한다.
• 두 단계 훈련 프로세스를 적용한다: 첫 번째 단계에서는 고정된 특징 추출기와 함께 최종 완전 연결 층만 훈련하고, 두 번째 단계에서는 감소하는 학습률을 사용해 전체 네트워크를 피지컬 튜닝한다.
• 임계값 기반 선택 전략을 적용하여, 모델의 예측이 진짜 레이블과 일치하고 신뢰도가 임계값(p₀ = 0.7, 첫 번째 단계; p₁ = 0.7, 두 번째 단계)을 초과할 경우에만 샘플을 유지한다.

실험 결과

연구 질문

• RQ1 MFM 활성화 함수를 통합한 압축된 CNN이 모델 크기와 추론 비용을 최소화하면서도 최신 기술 성능을 달성할 수 있는가?
• RQ2 ReLU와 표준 maxout와 비교해 MFM가 노이즈에서 정보성 신호를 얼마나 효과적으로 분리하는가?
• RQ3 의미론적 부트스트래핑 방법은 수동 재레이블링 없이도 노이즈가 많은 대규모 데이터셋에서 모델 정확도를 향상시킬 수 있는가?
• RQ4 학습 데이터의 반복적 재레이블링이 최종 얼굴 인식 벤치마크 성능에 얼마나 기여하는가?

주요 결과

• 256-D 표현을 가진 Light CNN-29 모델은 미세조정 없이도 다섯 가지 주요 얼굴 인식 벤치마크에서 최신 기술 성능을 달성한다.
• LFW에서 99.2%, YTC에서 98.6%, CALTECH에서 97.8%, CFP에서 95.1%, MS-Celeb-1M에서 94.3%의 정확도를 기록하며, 모든 데이터셋에서 이전 방법을 능가한다.
• 최종 모델은 오직 12,637K 파라미터만을 포함하며, 단일 코어 i7-4790 CPU에서 한 장의 얼굴를 약 121ms 내로 처리하여 실시간 시스템에 매우 효율적이다.
• 의미론적 부트스트래핑 방법은 MS-Celeb-1M의 아이덴티티 수를 99,891개에서 MS-1M-2R의 79,077개로 감소시키며, 각 정제 단계 이후 성능 향상이 관찰된다.
• 두 부트스트래핑 단계 모두 임계값 0.7에서 최고의 성능를 기록하여, 레이블 신뢰도와 데이터 커버리지 사이의 최적 균형을 이룬다.
• 원본 CASIA-WebFace 데이터셋보다 정제된 MS-1M-2R 데이터셋으로 훈련된 모델이 ROC 및 AUC 지표에서 모두 뛰어난 성능을 보였다.