[논문 리뷰] MarginDistillation: distillation for margin-based softmax

David Svitov, Sergey Alyamkin|arXiv (Cornell University)|2020. 03. 05.

Face recognition and analysis참고 문헌 22인용 수 5

한 줄 요약

이 논문은 마진 기반 소프트맥스(예: ArcFace)로 훈련된 경량 얼굴 인식 모델을 위한 새로운 디스틸리케이션 방법인 MarginDistillation을 제안한다. 이 방법은 교사 네트워크에서 학생 네트워크로 클래스 중심 임베딩과 각도 마진을 전달함으로써, 학생이 동일한 클래스 간 각도 분리도를 학습할 수 있도록 한다. 이 방법은 LFW(99.61%), AgeDB-30(96.55%), MegaFace(91.70%) 벤치마크에서 기존 디스틸리케이션 기법들을 능가하는 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

The usage of convolutional neural networks (CNNs) in conjunction with a margin-based softmax approach demonstrates a state-of-the-art performance for the face recognition problem. Recently, lightweight neural network models trained with the margin-based softmax have been introduced for the face identification task for edge devices. In this paper, we propose a novel distillation method for lightweight neural network architectures that outperforms other known methods for the face recognition task on LFW, AgeDB-30 and Megaface datasets. The idea of the proposed method is to use class centers from the teacher network for the student network. Then the student network is trained to get the same angles between the class centers and the face embeddings, predicted by the teacher network.

연구 동기 및 목표

• 큰 교사 네트워크와 경량 학생 네트워크 사이의 성능 격차를 줄이기 위해.
• 마진 기반 소프트맥스 손실로 훈련된 모바일 최적화 얼굴 인식 모델의 정확도를 향상시키기 위해.
• 얼굴 인식에서 최신 기술 수준의 성능을 낼 수 있는 것으로 알려진 마진 기반 소프트맥스를 위해 특별히 설계된 디스틸리케이션 방법을 개발하기 위해.
• 기존 디스틸리케이션 기법들(예: 트리플릿, 아 angular, 마진 기반 디스틸리케이션)과 표준 벤치마크에서 MarginDistillation을 경험적으로 비교하기 위해.
• 재현 가능성과 모바일 및 엣지 AI 응용 분야에서의 광범위한 채택을 위해 오픈소스 구현을 제공하기 위해.

제안 방법

• 사전 훈련된 교사 네트워크(ResNet100, ArcFace 손실)에서 클래스 중심을 학생 네트워크(MobileFaceNet)로 전달한다.
• 학습 중 학생 네트워크는 교사 네트워크가 예측한 클래스 중심과 얼굴 임베딩 간의 각도 관계를 재현하도록 훈련된다.
• 학습 중 학생 네트워크의 클래스 중심은 고정되어 있어 교사가 학습한 각도 마진 구조를 유지한다.
• 훈련 목표는 학생의 얼굴 임베딩와 전달된 클래스 중심이 형성하는 각도와 교사 네트워크의 각도 간의 차이를 최소화하는 것이다.
• 일관성을 유지하기 위해 고정된 초모수(s=64, m_max=0.5, m_min=0.2)를 사용하는 마진 기반 소프트맥스 손실(ArcFace)을 사용한다.
• MXNet을 사용해 구현되었으며, 온도 스케일링을 사용한 트리플릿 디스틸리케이션, 아 angular 디스틸리케이션, 마진 기반 디스틸리케이션과 직접 비교된다.

실험 결과

연구 질문

• RQ1 교사 네트워크에서 클래스 중심과 각도 마진을 전달함으로써, 경량 학생 네트워크의 얼굴 인식 성능을 향상시킬 수 있는가?
• RQ2 MarginDistillation은 기존의 디스틸리케이션 기법들—예를 들어 트리플릿, 아 angular, 마진 기반 디스틸리케이션—과 표준 얼굴 인식 벤치마크에서 어떻게 비교되는가?
• RQ3 제안된 방법은 마진 기반 소프트맥스로 훈련된 큰 교사 네트워크와 작은 학생 네트워크 사이의 정확도 격차를 줄이는가?
• RQ4 MegaFace와 같이 100만 개의 배경 대상이 포함된 도전적인 대규모 데이터셋에서도 MarginDistillation은 효과적인가?
• RQ5 ArcFace를 초월하는 다른 마진 기반 소프트맥스 변형으로도 이 방법은 일반화 가능한가?

주요 결과

• LFW 데이터셋에서 MarginDistillation은 99.61%의 정확도를 달성하여, 다음으로 좋은 방법(아 angular 디스틸리케이션)보다 0.06% 포인트 높다.
• AgeDB-30에서 이 방법은 96.55%의 정확도를 기록했으며, 최상의 베이스라인(아 angular 디스틸리케이션)보다 0.42% 포인트 향상되었고, ArcFace로만 훈련된 학생보다도 0.42% 포인트 높다.
• 도전적인 MegaFace 벤치마크에서 MarginDistillation은 91.70%의 탑-1 식별 정확도를 달성했으며, 다음으로 좋은 방법(온도 T=4인 마진 기반 디스틸리케이션)보다 0.93% 포인트 높다.
• 이 방법은 모든 세 가지 데이터셋에서 비교된 모든 디스틸리케이션 베이스라인보다 뚜렷하게 뛰어나며, 강건성과 일반화 능력을 입증한다.
• 성능 향상의 원인은 교사가 학습한 분류 가능한 특징 공간을 유지하는 데 기여하는 클래스 중심 정렬을 통한 각도 마진 구조의 효과적 전달에 기인한다.
• 절단 분석 결과, 전달된 클래스 중심을 고정하는 것이 핵심이며, 이들을 미세조정하면 성능 저하가 발생한다.