[논문 리뷰] CosFace: Large Margin Cosine Loss for Deep Face Recognition

Hao Wang, Yitong Wang외 6명|arXiv (Cornell University)|2018. 01. 29.

Face recognition and analysis참고 문헌 29인용 수 271

한 줄 요약

CosFace는 특징과 가중치를 정규화하고 코사인 마진을 추가하여 Large Margin Cosine Loss (LMCL)을 도입하고 LFW, YTF, MegaFace 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

Face recognition has made extraordinary progress owing to the advancement of deep convolutional neural networks (CNNs). The central task of face recognition, including face verification and identification, involves face feature discrimination. However, the traditional softmax loss of deep CNNs usually lacks the power of discrimination. To address this problem, recently several loss functions such as center loss, large margin softmax loss, and angular softmax loss have been proposed. All these improved losses share the same idea: maximizing inter-class variance and minimizing intra-class variance. In this paper, we propose a novel loss function, namely large margin cosine loss (LMCL), to realize this idea from a different perspective. More specifically, we reformulate the softmax loss as a cosine loss by $L_2$ normalizing both features and weight vectors to remove radial variations, based on which a cosine margin term is introduced to further maximize the decision margin in the angular space. As a result, minimum intra-class variance and maximum inter-class variance are achieved by virtue of normalization and cosine decision margin maximization. We refer to our model trained with LMCL as CosFace. Extensive experimental evaluations are conducted on the most popular public-domain face recognition datasets such as MegaFace Challenge, Youtube Faces (YTF) and Labeled Face in the Wild (LFW). We achieve the state-of-the-art performance on these benchmarks, which confirms the effectiveness of our proposed approach.

연구 동기 및 목표

• 전통적인 소프트맥스(Softmax)를 넘어선 더 강력한 판별 특성의 필요성을 제시합니다.
• 코사인 공간에서 클래스 간 분산을 최대화하고 클래스 간 내 분산을 최소화하기 위해 LMCL을 제안합니다.
• 특징과 가중치를 모두 정규화하여 큰 각 마진을 가진 초구면(hyperspherical) 특징 분포를 형성하는 방법을 보여줍니다.
• CosFace를 사용한 표준 벤치마크(LFW, YTF, Megaface)에서의 최첨단 성능을 입증합니다.
• 마진 매개변수와 정규화가 학습 역학에 미치는 이론적 통찰을 제공합니다.

제안 방법

• 특징과 클래스 가중 벡터를 모두 L2 정규화하여 소프트맥스를 코사인 손실로 재정의합니다.
• 코사인 마진 m을 도입하여 코사인 공간에서 큰 마진 결정 경계를 만듭니다.
• LMCL 목표를 정의합니다: L_lmc = (1/N) sum_i -log( e^{s(cos(theta_{y_i,i})-m)} / ( e^{s(cos(theta_{y_i,i})-m)} + sum_{j≠y_i} e^{s cos(theta_{j,i})} ) ), with W and x normalized and scaled by s.
• 특징과 가중치를 모두 정규화하여 특징을 초구면에 배치하고 고정 스케일 매개변수 s를 사용합니다(64로 설정).
• LMCL을 Softmax, Normalized Softmax (NSL), A-Softmax와 비교하여 코사인 공간의 마진이 일관되고 교란에 대한 강건성을 강조합니다.
• 마진 m 경계의 이론적 분석을 제공하고 LMCL이 초구면 특징 공간에서의 기하학적 해석을 논의합니다.

Figure 1: An overview of the proposed CosFace framework. In the training phase, the discriminative face features are learned with a large margin between different classes. In the testing phase, the testing data is fed into CosFace to extract face features which are later used to compute the cosine s

실험 결과

연구 질문

• RQ1 LMCL이 각도 공간에서 고정 코사인 마진을 강제함으로써 기존의 각도 마진 또는 유클리드 마진에 비해 판별력을 향상시키는가?
• RQ2 특징과 가중치를 함께 정규화하는 것이 학습 역학과 초구면의 특징 기하에 어떤 영향을 미치는가?
• RQ3 LMCL이 표준 얼굴 인식 벤치마크(LFW, YTF, MegaFace)에서 최첨단 손실 함수에 비해 어떤 성능을 보이는가?
• RQ4 실무에서 코사인 마진 매개변수 m과 스케일 s를 선택하기 위한 지침은 무엇인가?

주요 결과

• LMCL은 이전 손실들과 비교하여 주요 벤치마크(LFW, YTF, MegaFace)에서 경쟁력 있고 종종 우수한 성능을 보입니다.
• 특징 정규화와 고정 스케일 s=64를 사용한 경우, LMCL은 제시된 실험에서 LFW 99.33 및 YTF 96.1을 달성합니다(CASIA-WebFace 사용).
• LMCL은 보고된 비교에서 특징 정규화로 A-Softmax보다 YTF 및 MegaFace에서 더 나은 성능을 보였습니다.
• CosFace의 LFW 및 YTF에 대한 결과는 단일 패치 및 앙상블 구성을 포함한 많은 경쟁 방법들을 능가하며 강력한 일반화 성능을 보여줍니다.
• 특징 정규화는 Megaface 성능을 크게 향상시키며 보고된 MF1 점수(Rank1 및 Veri)에서 이를 확인할 수 있습니다.
• CosFace는 더 큰 벤치마크 실험에서 LFW(99.73)와 YTF(97.6)에서 최첨단 성능을 달성합니다.

Figure 2: The comparison of decision margins for different loss functions the binary-classes scenarios. Dashed line represents decision boundary, and gray areas are decision margins.