[논문 리뷰] CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition

Yuge Huang, Yuhan Wang외 6명|arXiv (Cornell University)|2020. 04. 01.

Face recognition and analysis참고 문헌 38인용 수 30

한 줄 요약

CurricularFace는 학습 초기에 쉬운 샘플에, 나중에 어려운 샘플에 주의를 기울이도록 음의 코사인 유사도를 적응적으로 조절하여 최첨단 얼굴 인식 성능을 향상시키는 적응형 커리큘럼 학습 손실을 도입합니다.

ABSTRACT

As an emerging topic in face recognition, designing margin-based loss functions can increase the feature margin between different classes for enhanced discriminability. More recently, the idea of mining-based strategies is adopted to emphasize the misclassified samples, achieving promising results. However, during the entire training process, the prior methods either do not explicitly emphasize the sample based on its importance that renders the hard samples not fully exploited; or explicitly emphasize the effects of semi-hard/hard samples even at the early training stage that may lead to convergence issue. In this work, we propose a novel Adaptive Curriculum Learning loss (CurricularFace) that embeds the idea of curriculum learning into the loss function to achieve a novel training strategy for deep face recognition, which mainly addresses easy samples in the early training stage and hard ones in the later stage. Specifically, our CurricularFace adaptively adjusts the relative importance of easy and hard samples during different training stages. In each stage, different samples are assigned with different importance according to their corresponding difficultness. Extensive experimental results on popular benchmarks demonstrate the superiority of our CurricularFace over the state-of-the-art competitors.

연구 동기 및 목표

• 얼굴 인식에서 여유 마진(margin) 및 마이닝 기반 손실의 필요성을 동기화하고 수렴 및 샘플링 문제를 해결한다.
• 학습 중 샘플을 선택하고 가중치를 부여하는 적응형 커리큘럼 학습 손실을 도입한다.
• 수동 하이퍼 파라미터 튜닝 없이 학습 단계에 따라 음의 코사인 유사도를 조절하는 모듈함수를 설계한다.
• SOTA 메소드와 비교했을 때 일반적인 얼굴 벤치마크에서 향상된 검증/식별 성능을 입증한다.

제안 방법

• 손실에 커리큘럼 학습을 내재화하여 novel modulation I(t, cos theta_j)를 통해 어려운 샘플의 가중치를 적응적으로 조절한다.
• N(t, cos theta_j) = cos theta_j를 쉬움/어려움 경계 케이스에 대해 정의하고, N(t, cos theta_j) = (t + cos theta_j) cos theta_j를 어려운 샘플에 대해 정의한다.
• 훈련 단계를 추적하기 위해 양의 코사인 유사도의 지수이동평균(Exponential Moving Average)로 t를 온라인에서 추정한다( t^{(k)} = alpha r^{(k)} + (1-alpha) t^{(k-1)} ).
• margin 기반 양의 유사도 T(cos theta_y_i) = cos(theta_y_i + m)로 ArcFace를 채택하고 음의 유사도에 N(t, cos theta_j)를 softmax 손실에 적용한다.
• 세 가지 경우(y_i, 쉬운 음의 샘플, 어려운 음의 샘플)에서 x_i와 W_j에 대한 SGD 호환 기울기를 제공한다.
• CurricularFace를 ArcFace 및 MV-Arc-Softmax와 비교하여 어려운 샘플의 적응적 가중치와 학습 중 무대별 강조를 강조한다.

실험 결과

연구 질문

• RQ1 적응형 커리큘럼 학습이 고정 마진 및 고정 마이닝 손실을 넘는 깊은 얼굴 인식의 식별력을 향상시킬 수 있는가?
• RQ2 온라인으로 적응하는 어려운 샘플 가중치가 작은 백본과 다양한 벤치마크에서 수렴에 도움이 되는가?
• RQ3 표준 검증/식별 벤치마크에서 CurricularFace의 성능은 ArcFace 및 MV-Arc-Softmax에 비해 어떤가?
• RQ4 제안된 t 추정 메커니즘이 데이터셋 및 백본 모델에 대해 견고한가?

주요 결과

• CurricularFace는 MS1MV2 / ResNet 백본에서 LFW, CFP-FP, CPLFW, AgeDB, CALFW, IJB-B, IJB-C, MegaFace에서 SOTA에 근접한 성능을 달성한다.
• MS1MV2-ResNet100을 사용한 LFW 및 CFP-FP/CPLFW 벤치마크에서 CurricularFace는 각각 99.80% (LFW)와 98.37% (CFP-FP), 93.13% (CPLFW)에 도달하여 ArcFace 및 MV-Arc-Softmax를 여러 지표에서 능가한다.
• 적응형 t 추정은 고정 t 값보다 검증 정확도를 향상시키며, cos theta_y_i의 적응 평균이 tested 전략 중 최상의 결과를 제공한다.
• CurricularFace는 ArcFace가 수렴하지 못하는 소형 백본(MobileFaceNet 등)에서도 수렴에 강건한 경향을 보이며, t=0.5 또는 0.45에서 수렴한다.
• MegaFace 및 IJB-B/IJB-C에서 CurricularFace는 강력한 베이스라인에 비해 단일 모델 식별/검증 점수에서 선도적 성능을 보인다.
• 이 방법은 ArcFace에 비해 학습 시간 대비 큰 추가 계산 부담을 주지 않는다(한 이터레이션당 학습 시간: P40 GPU에서 0.378초 vs 0.370초).