[논문 리뷰] SphereFace2: Binary Classification is All You Need for Deep Face Recognition

Yandong Wen, Weiyang Liu외 3명|arXiv (Cornell University)|2021. 08. 03.

Face recognition and analysis참고 문헌 42인용 수 26

한 줄 요약

SphereFace2는 하이퍼스피어에서 소프트맥스 기반 다클래스 훈련을 이진 원-대-여( one-vs-all ) 프레임워크로 대체하여 오픈세트 얼굴 인식을 개선하고, 여러 벤치마크에서 최첨단 성과를 달성합니다.

ABSTRACT

State-of-the-art deep face recognition methods are mostly trained with a softmax-based multi-class classification framework. Despite being popular and effective, these methods still have a few shortcomings that limit empirical performance. In this paper, we start by identifying the discrepancy between training and evaluation in the existing multi-class classification framework and then discuss the potential limitations caused by the "competitive" nature of softmax normalization. Motivated by these limitations, we propose a novel binary classification training framework, termed SphereFace2. In contrast to existing methods, SphereFace2 circumvents the softmax normalization, as well as the corresponding closed-set assumption. This effectively bridges the gap between training and evaluation, enabling the representations to be improved individually by each binary classification task. Besides designing a specific well-performing loss function, we summarize a few general principles for this "one-vs-all" binary classification framework so that it can outperform current competitive methods. Our experiments on popular benchmarks demonstrate that SphereFace2 can consistently outperform state-of-the-art deep face recognition methods. The code has been made publicly available.

연구 동기 및 목표

• Softmax 기반 다클래스 훈련이 오픈세트 얼굴 인식에 가진 한계를 식별한다.
• 하이퍼스피어에서 이진 원대일(one-vs-all) 훈련 프레임워크를 제안한다( SphereFace2 ).
• 실용적 구성 요소(균형, 쉬움/어려움 마이닝, 각도 마진, 유사도 조정)를 갖춘 원리적 손실을 도출한다.
• 표준 FR 벤치마크에서 향상된 성능과 강건성을 입증한다.
• 대규모 정체성 집합에서 다중 GPU 학습의 확장성 이점을 보여준다.

제안 방법

• 목표 클래스의 데이터는 양성으로, 다른 모든 클래스를 음성으로 간주하고(원-대-여) K개의 이진 분류기를 구성한다.
• 특징과 분류기를 정규화하여 단위 하이퍼스피어에서 이진 분류를 수행하고, x와 W_i 사이의 코사인 유사도를 사용한다.
• 밸런스 λ, 양수/음수 마진 m_p 및 m_n, 학습 안정화를 위한 바이어스 b를 결합하는 용도 L을 제안한다.
• 유사도 분포를 넓히고 양성/음수 중첩을 줄이기 위해 유사도 조정 g(cos θ) = 2((cos θ + 1)/2)^t − 1를 도입한다.
• 각도 마진(m_p, m_n)이 있는 양면 마진과 선택적 바이어스를 포함하여 보편적인 결정 경계를 유지하는 단일 최종 형태의 L을 제시한다.
• 양성/음수 균형, 하드/이지 마이닝, 마진 선택에 대한 원리적 디자인 선택을 논의하고 실험적 검증과 ablation을 제시한다.
• 소프트맥스 정규화 오버헤드를 피하면서 이진 분류기가 분리된 덕분에 GPU 간 효율적 병렬화를 강조한다.

실험 결과

연구 질문

• RQ1 하이퍼스피어상에서 이진 원대일 프레임워크가 소프트맥스 기반 다클래스 FR 방법과 일치하거나 능가할 수 있는가?
• RQ2 소프트맥스의 폐쇄 세트 편향을 제거하면 오픈 세트 일반화 및 레이블 노이즈에 대한 강건성이 증가하는가?
• RQ3 다양한 손실 설계 원칙(균형, 마이닝, 각도 마진, 유사도 조정)이 이진 FR 성능을 가장 어떻게 향상시키는가?
• RQ4 SphereFace2가 다중 GPU 학습에서 큰 정체성 집합과 어떻게 확장되는가?
• RQ5 표준 FR 벤치마크에서 SphereFace2가 최첨단 손실에 비해 어떤 실증적 이득을 얻는가?

주요 결과

Loss Function	LFW	AgeDB-30	CA-LFW	CP-LFW	Combined
Softmax Loss	98.20	87.23	88.17	84.85	89.05
Coco Loss	99.16	90.23	91.47	89.53	92.4
SphereFace	99.55	92.88	92.55	90.90	93.75
CosFace	99.51	92.98	92.83	91.03	93.89
ArcFace	99.47	91.97	92.47	90.85	93.97
Circle Loss	99.48	92.23	92.90	91.17	93.78
CurricularFace	99.53	92.47	92.90	90.65	93.70
SphereFace2	99.50	93.68	93.47	91.07	94.28

• SphereFace2는 표준 벤치마크에서 최첨단 소프트맥스 기반 손실보다 일관되게 더 높은 검증 정확도를 달성한다.
• ablation 결과 양성/음성 균형, 하드 샘플 마이닝, 각도 마진, 유사도 조정 각각이 성능 향상에 기여한다.
• 모든 구성요소(lambda, r, m, t)를 포함한 최종 손실이 최상의 결합 점수를 낳는다(예: 표 2의 결합 검증에서 94.28%).
• 이진 프록시 기반 쌍대 학습은 소프트맥스 교차-소통 오버헤드 없이 GPU 전반에 걸친 자연스러운 병렬화를 가능하게 한다.
• 유사도 조정 코사인 맵핑은 유사도의 다이내믹 범위를 확장하고 양성/음수 중첩을 줄여 일반화를 향상시킨다.
• SphereFace2는 대규모 벤치마크(IJB-B, IJB-C, MegaFace)에서 강력한 성능을 보이며 TAR/TPIR 지표에서도 경쟁력 있는 성과를 보여준다.