[논문 리뷰] ProxylessKD: Direct Knowledge Distillation with Inherited Classifier for Face Recognition

Weidong Shi, Guanghui Ren외 2명|arXiv (Cornell University)|2020. 10. 31.

Face recognition and analysis참고 문헌 29인용 수 4

한 줄 요약

이 논문은 교사 모델의 분류기(classifier)를 학생 모델의 고정된 분류기로 그대로 이관함으로써 직접적으로 얼굴 인식 정확도를 최적화하는 ProxylessKD라는 지식 증류 방법을 제안한다. 이로써 학생 모델의 임bedding 공간을 교사 모델과 정렬함으로써, 대용량 마진 손실 함수를 효과적으로 활용할 수 있고, 다양한 벤치마크에서 최신 기준을 초월하는 성능을 달성한다. 기존의 증류 방법들, 특히 L2KD를 능가한다.

ABSTRACT

Knowledge Distillation (KD) refers to transferring knowledge from a large model to a smaller one, which is widely used to enhance model performance in machine learning. It tries to align embedding spaces generated from the teacher and the student model (i.e. to make images corresponding to the same semantics share the same embedding across different models). In this work, we focus on its application in face recognition. We observe that existing knowledge distillation models optimize the proxy tasks that force the student to mimic the teacher's behavior, instead of directly optimizing the face recognition accuracy. Consequently, the obtained student models are not guaranteed to be optimal on the target task or able to benefit from advanced constraints, such as large margin constraints (e.g. margin-based softmax). We then propose a novel method named ProxylessKD that directly optimizes face recognition accuracy by inheriting the teacher's classifier as the student's classifier to guide the student to learn discriminative embeddings in the teacher's embedding space. The proposed ProxylessKD is very easy to implement and sufficiently generic to be extended to other tasks beyond face recognition. We conduct extensive experiments on standard face recognition benchmarks, and the results demonstrate that ProxylessKD achieves superior performance over existing knowledge distillation methods.

연구 동기 및 목표

• 기존 지식 증류 방법들이 소프트 레이블 매칭이나 활성도 일致성 등의 대체 목표를 최적화하는 데 그치지만, 실제 얼굴 인식 정확도를 직접 최적화하지 못하는 한계를 해결하고자 한다.
• 기존 증류 방법에서 분류기 불일치로 인해 호환되지 않는 고성능의 대용량 마진 손실 함수(예: Arcface, Cosface)를 학생 모델이 활용할 수 있도록 하기 위함이다.
• 학습 중에 학생 모델과 교사 모델의 임베딩 공간을 직접적으로 정렬함으로써, 갤러리 임베딩이 대규모 모델을 통해 추출되는 실제 얼굴 인식 파이프라인과의 호환성을 확보하고자 한다.
• 학생 모델의 분류기를 재학습할 필요 없이 단순하고 일반적이며 효과적인 증류 프레임워크를 개발하고자 한다. 이는 얼굴 인식을 넘어선 분야로도 쉽게 확장 가능하다.

제안 방법

• 학습 중에 학생 모델의 분류기를 교사 모델의 분류기 가중치로 초기화하고 고정함으로써, 교사 모델의 클래스 중심 표현을 학생 모델에 효과적으로 이관한다.
• 학생 네트워크는 고정된, 이관된 분류기와 일치하는 임베딩을 생성하도록 학습되며, 이로써 교사 모델과 일치하는 분류 가능한 임베딩 공간을 학습하게 된다.
• 이 방법은 학생의 특징 학습과 함께 대용량 마진 손실 함수(예: Arcface 또는 Cosface)를 결합함으로써, 학생 모델이 마진 제약 조건을 통해 클래스 간 분離도를 향상시킬 수 있도록 한다.
• L2KD가 학생 및 교사의 임베딩 간 L2 거리만 최소화하는 데 반해, ProxylessKD는 고정된 분류기를 통해 내부 클래스의 응집성과 외부 클래스의 마진을 함께 최적화한다.
• 이 프레임워크는 일반적이며 아키텍처 변경이 필요 없으며, 단지 가중치 초기화와 학생 모델의 분류기 고정만으로 구현 가능하다.
• 이 방법은 소프트 레이블이나 중간 특징 매칭에 의존하지 않고 직접적인 임베딩 공간 정렬을 가능하게 하여, 갤러리 특징가 대규모 모델에서 추출되는 실세계 구현 환경에 적합하다.

실험 결과

연구 질문

• RQ1 지식 증류에서 대체 목표(예: 소프트 레이블 매칭 또는 특징 활성도 일치성)가 아닌, 실제 얼굴 인식 정확도를 직접 최적화함으로써 얼굴 인식 성능을 향상시킬 수 있는가?
• RQ2 기존 증류 방법들이 왜 Arcface나 Cosface와 같은 대용량 마진 손실 함수를 활용하지 못하는가? 이 한계는 극복될 수 있는가?
• RQ3 교사 모델의 분류기를 학생 모델에 고정된 구성 요소로 이관함으로써 더 나은 임베딩 공간 정렬과 향상된 인식 성능를 달성할 수 있는가?
• RQ4 단일 모델 및 다중 모델 평가 모드에서 여러 표준 벤치마크에서 ProxylessKD는 L2KD 및 기타 증류 기반 모델과 비교해 성능 면에서 어떻게 뛰어나게 되는가?

주요 결과

• ProxylessKD는 다중 모델 모드에서 CFP-FP 벤치마크에서 95.04%의 검증 정확도를 달성하여 L2KD보다 0.74% 높으며, 모든 벤치마크에서 일관된 성능 향상을 보였다.
• IJB-C에서 FAR=1e-6일 때, ProxylessKD-m는 87.90%의 Top-1 정체성 식별 정확도를 기록했으며, 학생 기반 모델 대비 10.5% 향상되었고, L2KD-m 대비 1.03% 높았다.
• MegaFace에서 ProxylessKD-m는 95.80%의 Rank-1 정확도를 기록했으며(L2KD-m 대비 1.03% 높음), 이는 대규모이고 복잡한 인식 작업에서의 우수성을 확인한다.
• IJB-B에서 FAR=1e-6일 때, ProxylessKD-m는 93.36%의 검증 TAR을 기록했으며, 학생 기반 모델 대비 12.5% 향상되었고, L2KD-s 대비 2.5% 높았다. 이는 강력한 일반화 능력을 보여준다.
• 모든 데이터셋에서 ProxylessKD-m가 ProxylessKD-s를 항상 앞서며, 대규모 교사 모델을 활용한 다중 모델 융합이 성능 향상에 기여함을 확인했다.
• 성능 향상 요인은 효과적인 임베딩 공간 정렬과 대용량 마진 제약 조건 활용에 기인하며, 이는 L2KD가 분류기 불일치로 인해 이를 활용할 수 없기 때문이다.