[논문 리뷰] Triplet Distillation for Deep Face Recognition

Yushu Feng, Huan Wang외 2명|arXiv (Cornell University)|2019. 05. 11.

Face recognition and analysis참고 문헌 32인용 수 4

한 줄 요약

이 논문은 경량 학생 네트워크에서 얼굴 인식 성능을 햖थ기 위해 지도 학습 기반의 트리플릿 디스틸레이션을 제안한다. 이 방법은 교사 모델을 활용해 트리플릿 손실의 마진을 동적으로 조정한다. 교사 모델의 특징 거리에서 유도된 이종 간 유사도 지식을 전달함으로써, LFW, AgeDB, CPLFW에서 최신 기술을 초월하는 성능을 달성한다. CPLFW에서 고정 마진 트리플릿 손실 대비 0.52%의 정확도 향상을 기록했고, AgeDB-30에서는 0.74% 향상되었다.

ABSTRACT

Convolutional neural networks (CNNs) have achieved a great success in face recognition, which unfortunately comes at the cost of massive computation and storage consumption. Many compact face recognition networks are thus proposed to resolve this problem. Triplet loss is effective to further improve the performance of those compact models. However, it normally employs a fixed margin to all the samples, which neglects the informative similarity structures between different identities. In this paper, we propose an enhanced version of triplet loss, named triplet distillation, which exploits the capability of a teacher model to transfer the similarity information to a small model by adaptively varying the margin between positive and negative pairs. Experiments on LFW, AgeDB, and CPLFW datasets show the merits of our method compared to the original triplet loss.

연구 동기 및 목표

• 모델 용량 감소로 인한 경량 얼굴 인식 모델의 성능 저하 문제를 해결하기 위해.
• 고정 마진 트리플릿 손실이 개별 정체성의 유사도 구조를 포착하지 못하는 한계를 극복하기 위해.
• 적응형 마진을 활용한 지식 디스틸레이션을 통해 경량 모델의 메트릭 학습을 향상시키기 위해.
• 대규모 교사 모델에서 유도된 정체성 간 유사도 정보를 소형 학생 모델로 전달하여 더 나은 결정 경계 학습을 가능하게 하기 위해.

제안 방법

• 이 방법은 사전 학습된 ResNet-100을 교사 모델로 사용하고, 축소된 MobileFaceNet을 학생 모델로 사용한다.
• 교사 모델의 특징 임bedding을 사용해 이종 간 거리를 계산하여 동적 마진을 결정한다.
• 각 트리플릿의 마진은 교사 모델의 양성 및 부정 쌍 간 거리 차이에 대한 선형 함수로 정의된다: $ \mathcal{F}(d) = \frac{m_{\text{max}} - m_{\text{min}}}{d_{\text{max}}} d + m_{\text{min}} $.
• 학생 모델은 먼저 ArcFace 손실을 사용해 사전 학습된 후, 제안된 동적 마진을 가진 트리플릿 디스틸레이션 손실을 사용해 미세 조정된다.
• 손실 함수는 학생 모델의 특징 거리와 교사 모델의 유사도 지식을 결합하여, 내부 클래스의 응집성과 외부 클래스의 분리도를 강화한다.
• 동적 마진은 교사 모델이 추정한 거리가 큰 더 어려운 정체성 쌍에 더 큰 마진을 제공함으로써 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 교사 모델의 유사도 지식을 전달함으로써 지식 디스틸레이션을 효과적으로 적용해 트리플릿 손실의 성능을 향상시킬 수 있는가?
• RQ2 교사 모델의 거리 기반으로 데이터에 따라 변하는 동적 마진을 사용할 경우, 고정 마진 트리플릿 손실 대비 경량 모델에서 더 높은 성능을 달성할 수 있는가?
• RQ3 학생 모델이 교사 모델의 정체성 간 유사도 구조를 학습함으로써 표준 벤치마크에서 더 높은 정확도를 달성할 수 있는가?
• RQ4 제안된 트리플릿 디스틸레이션은 다양한 데이터셋에서 고정 마진 트리플릿 손실과 비교해 검증 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• 트리플릿 디스틸레이션으로 미세 조정된 학생 모델은 LFW에서 99.27%의 정확도를 기록했으며, 마진 0.4로 설정된 최고의 고정 마진 트리플릿 손실(99.23%)을 초월했다.
• CPLFW에서는 81.28%의 정확도를 달성했고, 마진 0.3로 설정된 최고의 고정 마진 트리플릿 손실(80.80%) 대비 2.75% 향상되었다.
• AgeDB-30에서는 94.37%의 정확도를 기록했으며, 마진 0.3로 설정된 최고의 고정 마진 트리플릿 손실(94.08%) 대비 0.84% 향상되었다.
• 모든 세 벤치마크에서 일관된 성능 향상이 관찰되어, 교사 모델 지식에서 유도된 동적 마진의 효과성을 입증했다.
• ArcFace로 초기 학습한 학생 모델은 CPLFW에서 78.53%의 정확도를 기록했으나, 트리플릿 디스틸레이션을 적용한 후 81.28%로 향상되어 강력한 미세 조정 능력을 보였다.
• 교사 모델의 유사도 구조 지식을 효과적으로 전달함으로써, 학생 네트워크에서 더 나은 결정 경계 학습이 가능해졌다.