[논문 리뷰] ShrinkTeaNet: Million-scale Lightweight Face Recognition via Shrinking Teacher-Student Networks

Chi Nhan Duong, Khoa Luu외 2명|arXiv (Cornell University)|2019. 05. 25.

Face recognition and analysis참고 문헌 52인용 수 26

한 줄 요약

ShrinkTeaNET은 대규모 얼굴 인식을 위한 경량 학생 네트워크를 훈련하기 위해 각도 기반 손실을 사용하여 무거운 교사 네트워크에서 특징 방향성과 샘플 분포 지식을 지식 정복하는 새로운 지식 정복 프레임워크를 제안한다. 이 방법은 LFW에서 99.77%의 정확도와 MegaFace에서 95.64%의 정확도를 기록하며, 개방 설정 환경에서 이전 방법들을 크게 앞서는 최신 기술 성능을 달성한다.

ABSTRACT

Large-scale face recognition in-the-wild has been recently achieved matured performance in many real work applications. However, such systems are built on GPU platforms and mostly deploy heavy deep network architectures. Given a high-performance heavy network as a teacher, this work presents a simple and elegant teacher-student learning paradigm, namely ShrinkTeaNet, to train a portable student network that has significantly fewer parameters and competitive accuracy against the teacher network. Far apart from prior teacher-student frameworks mainly focusing on accuracy and compression ratios in closed-set problems, our proposed teacher-student network is proved to be more robust against open-set problem, i.e. large-scale face recognition. In addition, this work introduces a novel Angular Distillation Loss for distilling the feature direction and the sample distributions of the teacher's hypersphere to its student. Then ShrinkTeaNet framework can efficiently guide the student's learning process with the teacher's knowledge presented in both intermediate and last stages of the feature embedding. Evaluations on LFW, CFP-FP, AgeDB, IJB-B and IJB-C Janus, and MegaFace with one million distractors have demonstrated the efficiency of the proposed approach to learn robust student networks which have satisfying accuracy and compact sizes. Our ShrinkTeaNet is able to support the light-weight architecture achieving high performance with 99.77% on LFW and 95.64% on large-scale Megaface protocols.

연구 동기 및 목표

• 제한된 계산 자원을 가진 모바일 및 임베디드 디바이스에 대규모 얼굴 인식을 구현하는 데 도전하는 데 대비하기 위해.
• 학습 클래스와 다를 수 있는 테스트 클래스를 가진 개방 설정 얼굴 인식에서 정확도를 향상시키기 위해 분류 로짓 외의 지식을 전달함으로써 강인성을 향상시키기 위해.
• 더 나은 일반화를 위해 교사 네트워크의 초구면 기하학적 구조, 특히 특징 방향성과 샘플 분포를 유지하는 정복 방법을 개발하기 위해.
• 최종 레이어뿐만 아니라 특징 임bedding의 모든 단계에서 효율적인 정복을 가능하게 하여 학생 네트워크 성능을 향상시키기 위해.
• 작고 경량적인 아키텍처를 유지하면서도 대규모, 개방 설정 조건에서 강인성을 유지하면서 경쟁 가능한 정확도를 달성하기 위해.

제안 방법

• 특징 벡터 간의 각도 유사도를 기반으로 한 소프트 제약 조건을 사용하는 각도 기반 정복 손실을 도입하여, 정확한 특징 값이 아닌 교사의 초구면 내 특징 방향성과 분포를 학습자 네트워크가 따라하도록 유도한다.
• 특징 임bedding 과정의 모든 단계에서 정복을 적용하여, 교사 네트워크의 중간 및 최종 레이어에서 지식 전달을 가능하게 한다.
• 고성능의 무거운 네트워크를 교사로 사용하고, 경량 아키텍처(예: MobileNetV1, MobileNetV2, MobileFaceNet)를 학생으로 사용하며, 지식 정복을 통해 훈련한다.
• 기존의 ℓ₂나 교차 엔트로피 손실보다 더 민첩한 각도 유사도 기반 소프트 제약 조건을 사용한다.
• 최종 분류기와 중간 특징 맵을 동시에 최적화하여 학생의 표현 학습을 공동으로 최적화하는 다단계 정복 프레임워크를 설계한다.
• 교사가 학습한 클래스 분포와 특징 기하학을 활용하여 학생의 결정 경계 형성에 지침을 제공함으로써, 미지의 클래스로의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습 클래스와 다를 수 있는 테스트 클래스를 가진 개방 설정 얼굴 인식에 지식 정복을 효과적으로 적용할 수 있는가?
• RQ2 기존의 로짓 또는 ℓ₂ 손실 기반 정복과 비교해, 교사의 초구면에서 특징 방향성과 샘플 분포를 정복하는 것이 학생의 일반화 능력을 향상시키는가?
• RQ3 경량 학생 네트워크가 파라미터 수를 최소화하면서도 대규모 벤치마크인 MegaFace에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 최종 레이어에서만 정복하는 것과 달리, 특징 임bedding 레이어 전반에 걸친 다단계 정복이 학생 성능에 어떤 영향을 미치는가?
• RQ5 제안된 각도 기반 정복 손실은 경량 모델에서 ℓ₂ 기반 정복에 비해 과적합과 훈련 불안정성을 줄이는가?

주요 결과

• ShrinkTeaNET은 LFW 벤치마크에서 99.77%의 정확도를 달성하여, 경량 학생 네트워크를 사용함에도 불구하고 뛰어난 성능을 보였다.
• 100만 개의 오염자( distractors)가 포함된 대규모 MegaFace 프로토콜에서 ShrinkTeaNET-MFNR은 95.64%의 정확도를 기록했으며, ArcFace와의 격차는 단지 1.71%에 그쳤다.
• LFW에서는 교사-학생 네트워크 간 성능 격차를 0.05%로 줄였고, CFP-FP에서는 1.83%, AgeDB에서는 0.74%로 유지하여 ℓ₂ 기반 정복보다 뚜렷이 뛰어난 성능을 보였다.
• IJB-B 및 IJB-C 프로토콜에서 ShrinkTeaNET은 기준 모델 대비 학생 성능을 1.9%에서 3.64% 향상시켰으며, IJB-C에서 ArcFace와의 격차는 0.016로 매우 작았다.
• 각도 기반 정복 손실을 사용한 훈련 과정은 ℓ₂ 기반 정복에 비해 더 안정적이었으며, 경량 모델에서 흔히 발생하는 과도한 정규화와 불안정성 문제를 완화했다.
• ShrinkTeaNET은 개방 설정 대규모 얼굴 인식을 위해 특별히 설계되고 검증된 최초의 정복 프레임워크 중 하나로서, 분포 이탈에 대한 강인성을 입증했다.