[논문 리뷰] Mis-classified Vector Guided Softmax Loss for Face Recognition

Xiaobo Wang, Shifeng Zhang외 4명|arXiv (Cornell University)|2019. 11. 26.

Face recognition and analysis참고 문헌 40인용 수 13

한 줄 요약

이 논문은 얼굴 인식에서 특징 분리도를 향상시키기 위해 잘못 분류된 특징 벡터를 적응적으로 강조하는 새로운 손실 함수인 오분류 벡터 유도 소프트맥스 손실(MV-Softmax)을 제안한다. 마진 기반 및 마이닝 기반 접근법을 통합함으로써, LFW, MegaFace, Trillion-Pairs 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 저위험률 조건(예: 1e-6 또는 1e-9)에서도 기준 모델 및 융합 방법 대비 최대 3% 향상된 성능을 보였다.

ABSTRACT

Face recognition has witnessed significant progress due to the advances of deep convolutional neural networks (CNNs), the central task of which is how to improve the feature discrimination. To this end, several margin-based ( extit{e.g.}, angular, additive and additive angular margins) softmax loss functions have been proposed to increase the feature margin between different classes. However, despite great achievements have been made, they mainly suffer from three issues: 1) Obviously, they ignore the importance of informative features mining for discriminative learning; 2) They encourage the feature margin only from the ground truth class, without realizing the discriminability from other non-ground truth classes; 3) The feature margin between different classes is set to be same and fixed, which may not adapt the situations very well. To cope with these issues, this paper develops a novel loss function, which adaptively emphasizes the mis-classified feature vectors to guide the discriminative feature learning. Thus we can address all the above issues and achieve more discriminative face features. To the best of our knowledge, this is the first attempt to inherit the advantages of feature margin and feature mining into a unified loss function. Experimental results on several benchmarks have demonstrated the effectiveness of our method over state-of-the-art alternatives.

연구 동기 및 목표

• 기존의 마진 기반 및 마이닝 기반 소프트맥스 손실의 한계를 해결하기 위해, 특히 정보성 특징를 효과적으로 활용하지 못하고 하드 예제에 대해 적응적인 가중치를 부여하지 못하는 문제를 해결하고자 한다.
• 특징 마진과 특징 마이닝의 이점을 하나의 일관된 손실 함수로 통합하여, 클래스 간 분리도 향상과 클래스 내 응집도 향상을 개선하고자 한다.
• 고정되거나 경험적으로 설정된 임계값을 사용하는 대신, 잘못 분류된 샘플의 난이도에 따라 적응적으로 재가중하는 손실 함수를 개발하고자 한다.
• 특히 매우 낮은 위험률(예: 1e-6 또는 1e-9)과 같은 극한 조건에서도 모델 일반화 능력을 향상시키기 위해, 가장 도전적인 잘못 분류된 샘플에 집중하고자 한다.
• 마진 전략과 마이닝 전략의 단순한 조합보다 더 의미 있고 효과적인 대안을 제공하고자 한다.

제안 방법

• 제안된 MV-Softmax 손실은 잘못 분류된 특징 벡터를 하드 예제로 명시적으로 식별하고, 분류 성능 향상을 위한 지도 학습을 유도하기 위해 높은 학습 가중치를 할당한다.
• 식별 난이도에 따라 잘못 분류된 샘플의 손실 기여도를 증가시키는 적응형 재가중 함수(식 8)를 도입함으로써, 각 클래스에 대해 동적으로 마진 조정이 가능하게 한다.
• 각도 마진(Arc-Softmax)과 덧셈 마진(AM-Softmax) 원리를 통합한 통합 프레임워크에 통합함으로써, 클래스 간 분리도를 향상시킨다.
• 마진 기반 손실의 기하학적 직관과 마이닝 기반 손실의 샘플 선택 전략을 결합하지만, 외부 마이닝 히우리스틱에 의존하지 않는다.
• 학습 가능한 마진을 가진 온도 스케일드 소프트맥스를 사용하며, 모델의 예측 신뢰도와 잘못 분류 상태에 따라 동적으로 조정되는 마진을 적용한다.
• 표준 얼굴 인식 모델에 적용되며, 표준 벤치마크에서 백프로파게이션을 통한 엔드 투 엔드 최적화로 학습된다.

실험 결과

연구 질문

• RQ1 통합된 손실 함수가 마진 기반 및 마이닝 기반 소프트맥스 손실의 장점을 효과적으로 융합하여 얼굴 인식 성능을 향상시킬 수 있는가?
• RQ2 잘못 분류된 특징 벡터에 대해 명시적으로 집중하는 것이 고정되거나 경험적으로 선택된 하드 예제에 의존하는 것보다 더 나은 특징 분리도를 이끌 수 있는가?
• RQ3 잘못 분류된 샘플에 대한 적응형 재가중 전략이 Trillion-Pairs와 같이 극한의 낮은 위험률 벤치마크에서 성능 향상에 기여하는가?
• RQ4 MV-Softmax 손실은 마진과 마이닝 전략의 단순한 조합 대비 일반화 능력과 내구성 면에서 더 나은 성능을 보이는가?
• RQ5 고정 마진 또는 고정 가중치 전략에 비해 적응형 마진 메커니즘이 클래스 불균형과 하드 샘플 분포 문제를 더 효과적으로 다룰 수 있는가?

주요 결과

• Trillion-Pairs 챌린지에서 MV-AM-Softmax-a는 FAR=1e-9 조건에서 76.94%의 식별 TPR 및 75.93%의 확인 TPR@FAR=1e-9를 기록하여, 최고의 기준 모델인 AM-Softmax 대비 식별에서 2.5% 이상, 확인에서 4.5% 이상 향상되었다.
• MegaFace에서 MV-AM-Softmax-a는 식별 Rank-1 정확도 98.00%와 확인 TPR@FAR=1e-6 조건에서 98.31%를 기록하여, AM-Softmax 대비 각각 0.31%와 0.49% 향상되었다.
• 적응형 재가중 함수(식 8)는 고정 가중치 버전(식 7)보다 일관되게 뛰어난 성능을 보이며, 난이도 인식 기반의 동적 손실 조정의 중요성을 입증한다.
• MV-Softmax 변종은 Trillion-Pairs에서 기준 방법 대비 최소 3% 향상된 성능을 기록하여, 극한의 낮은 위험률 조건에서도 강력한 일반화 능력을 보였다.
• MegaFace Set 1의 CMC 및 ROC 곡선은 MV-Softmax 모델이 모든 평가 지표에서 모든 경쟁 모델, 포함하여 융합 마진-마이닝 손실까지도 일관되게 승리했음을 확인했다.
• RFW 벤치마크의 모든 하위 집단에서 일관된 승리함으로써, 테스트 데이터의 인종 편향 및 인구 통계적 변화에 대한 강건성을 입증했다.