[논문 리뷰] SphereFace: Deep Hypersphere Embedding for Face Recognition

Weiyang Liu, Yandong Wen외 4명|arXiv (Cornell University)|2017. 04. 26.

Face recognition and analysis참고 문헌 26인용 수 412

한 줄 요약

SphereFace는 각도 여백 손실(A-Softmax)을 도입하여 개방 세트 얼굴 인식을 위한 CNN 학습에서 구별 가능한 특징을 하이퍼스피어에 강제하고, WebFace 데이터를 사용하여 LFW와 YTF에서 최첨단에 준하는 결과를 달성합니다.

ABSTRACT

This paper addresses deep face recognition (FR) problem under open-set protocol, where ideal face features are expected to have smaller maximal intra-class distance than minimal inter-class distance under a suitably chosen metric space. However, few existing algorithms can effectively achieve this criterion. To this end, we propose the angular softmax (A-Softmax) loss that enables convolutional neural networks (CNNs) to learn angularly discriminative features. Geometrically, A-Softmax loss can be viewed as imposing discriminative constraints on a hypersphere manifold, which intrinsically matches the prior that faces also lie on a manifold. Moreover, the size of angular margin can be quantitatively adjusted by a parameter $m$. We further derive specific $m$ to approximate the ideal feature criterion. Extensive analysis and experiments on Labeled Face in the Wild (LFW), Youtube Faces (YTF) and MegaFace Challenge show the superiority of A-Softmax loss in FR tasks. The code has also been made publicly available.

연구 동기 및 목표

• 개방 세트 얼굴 인식을 학습 가능한 구별 가능한 특징으로 만들고, 클래스 내부 및 클래스 간 각도 거리를 제어합니다.
• 각도 여백을 하이퍼스피어 매니폴드에 부과하기 위해 Angular Softmax (A-Softmax) 손실을 도입합니다.
• 이상적인 FR 기준을 근사하기 위한 각도 여백 매개변수 m의 이론적 분석과 하한을 제공합니다.
• WebFace 학습 데이터를 사용하여 표준 벤치마크(LFW, YTF, MegaFace)에서 SphereFace의 실험적 효능을 보여줍니다.

제안 방법

• 각도 유사도 대신 정수 m에 의해 제어되는 각도 여백으로 Angular softmax (A-Softmax) 손실을 도출합니다.
• 결정 경계가 진 클래스에는 cos(m theta), 다른 클래스에는 cos(theta)에 의존하도록 소프트맥스의 일반화를 형식화하여 조정 가능한 각도 여백을 가능하게 합니다.
• 엔드 투 엔드 학습을 위해 cos(m theta)의 원래 도메인을 확장하는 단조 함수 psi(theta)를 도입합니다.
• 정규화된 가중치와 편향 제로화를 강제하여 특징을 단위 하이퍼스피어에 임베딩(SphereFace)하고, 분류를 각도에 의존하도록 만듭니다.
• 이진 및 다중 클래스 설정에서 m에 대한 하한 m_min을 도출하고, 개방 세트 기준에 근접하도록 실용적 선택으로 m=4를 제시합니다.

실험 결과

연구 질문

• RQ1 하이퍼스피어에서의 각도 여백 학습이 개방 세트 얼굴 인식의 판별력을 향상시킬 수 있는가?
• RQ2 이상적인 내부 클래스 간 각도 거리 기준을 근사하기 위해 각도 여백 매개변수 m를 어떻게 선택해야 하는가?
• RQ3 A-Softmax로 학습된 하이퍼스피어 기반 임베딩이 표준 소프트맥스 및 유클리드 여백 손실보다 FR 벤치마크에서 더 나은가?
• RQ4 SphereFace가 WebFace 학습 데이터를 사용할 때 LFW, YTF, MegaFace와 같은 벤치마크에서 어떤 실증적 이득을 보이는가?

주요 결과

• A-Softmax는 소프트맥스보다 더 큰 각도 여백을 강제하여 하이퍼스피어에서 더 구별 가능한 특징을 생성합니다.
• m=4일 때 LFW 정확도는 99.42%에 이르고(YF: LFW) 64-layer CNN으로 학습된 경우, YTF 정확도는 95.0%에 이릅니다.
• L-Softmax 및 다른 유클리드 여백 손실은 LFW/YTF에서 평가된 아키텍처들에 대해 SphereFace에 의해 앞서지 못합니다.
• 더 깊은 아키텍처는 일반 소프트맥스보다 A-Softmax에서 더 큰 이득을 얻으며, 어려운 벤치마크에서 주목할 만한 개선을 보입니다.
• SphereFace는 공개 가능한 CASIA-WebFace 데이터를 사용한 효과를 강조하며, 비공개 데이터로 학습된 모델과의 비교에서도 경쟁력 있는 성능을 보입니다.