[논문 리뷰] NPCFace: A Negative-Positive Cooperation Supervision for Training Large-scale Face Recognition.

Dan Zeng, Hailin Shi외 4명|arXiv (Cornell University)|2020. 07. 20.

Face recognition and analysis참고 문헌 31인용 수 9

한 줄 요약

NPCFace는 얼굴 인식 학습에서 긍정 마진과 부정 마진 간의 협업을 명시적으로 모델링하는 새로운 손실 함수를 제안하며, 특히 낮은 거짓 수락률(FAR) 영역에서 어려운 샘플에 대해 성능을 향상시킨다. 샘플 단위의 협업 메커니즘을 통해 내부 클래스(긍정) 및 외부 클래스(부정)의 어려운 케이스에 대해 마진을 동시에 최적화함으로써, 대규모 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Deep face recognition has made remarkable advances in the last few years, while the training scheme still remains challenging in the large-scale data situation where many hard cases occur. Especially in the range of low false accept rate (FAR), there are various hard cases in both positives ($ extit{i.e.}$ intra-class) and negatives ($ extit{i.e.}$ inter-class). In this paper, we study how to make better use of these hard samples for improving the training. The existing training methods deal with the challenge by adding margins in either the positive logit (such as SphereFace, CosFace, ArcFace) or the negative logit (such as MV-softmax, ArcNegFace, CurricularFace). However, the correlation between hard positive and hard negative is overlooked, as well as the relation between the margin in positive logit and the margin in negative logit. We find such correlation is significant, especially in the large-scale dataset, and one can take advantage from it to boost the training via relating the positive and negative margins for each training sample. To this end, we propose an explicit cooperation between positive and negative margins sample-wisely. Given a batch of hard samples, a novel Negative-Positive Cooperation loss, named NPCFace, is formulated, which emphasizes the training on both the negative and positive hard cases via a cooperative-margin mechanism in the softmax logits, and also brings better interpretation of negative-positive hardness correlation. Besides, the negative emphasis is implemented with an improved formulation to achieve stable convergence and flexible parameter setting.We validate the effectiveness of our approach on various benchmarks of large-scale face recognition and outperform the previous methods especially in the low FAR range.

연구 동기 및 목표

• 풍부한 어려운 긍정 및 부정 샘플을 포함한 대규모 데이터셋에서 딥 얼굴 인식 모델을 훈련하는 데 도전하는 것.
• 기존 방법들이 긍정 마진과 부정 마진을 별도로 다루며 상관관계를 忽시하는 한계를 극복하는 것.
• 어려운 케이스가 가장 중요한 낮은 거짓 수락률(FAR) 범위에서 모델의 일반화 능력과 내성 강도를 향상시키는 것.
• 어려운 긍정 샘플과 어려운 부정 샘플 간의 상호작용을 명시적으로 모델링하여 더 나은 최적화를 위한 훈련 전략을 개발하는 것.

제안 방법

• 내부 클래스(긍정) 및 외부 클래스(부정)의 어려운 샘플에 대해 마진을 동시에 최적화하는 샘플 단위의 부정-긍정 협업(NPCFace) 손실을 제안한다.
• 소프트맥스 로짓 내에서 협업 마진 메커니즘을 도입하여, 해당 부정 샘플의 어려움에 따라 긍정 샘플의 마진을 동적으로 조정한다.
• 훈련 안정성을 향상시키고 유연한 하이퍼파rameter 조정을 가능하게 하기 위해 개선된 부정 강조 공식을 적용한다.
• 어려운 샘플을 식별하고 협업 마진 학습을 우선시하는 배치 기반 훈련 전략을 사용한다.
• 긍정 쌍과 부정 쌍의 어려움 간의 상관관계를 반영하는 마진 적응 규칙을 적용하여 분류 성능 향상에 기여한다.
• 구조적 변경 없이 표준 얼굴 인식 프레임워크에 NPCFace 손실를 통합하여 즉시 사용이 가능한 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모 설정에서 어려운 긍정 샘플과 어려운 부정 샘플 간의 상관관계가 얼굴 인식 성능에 어떤 영향을 미치는가?
• RQ2 긍정 및 부정 샘플의 마진을 함께 최적화하는 것이 일반화 능력을 향상시키며, 특히 낮은 FAR 범위에서 효과적인가?
• RQ3 긍정 마진과 부정 마진 간의 협업을 명시적으로 모델링함으로써 훈련 안정성과 수렴 성능에 어떤 영향을 미치는가?
• RQ4 기존 방법에서 독립적으로 마진를 설정하는 전략과 비교해, 제안된 협업 마진 메커니즘은 어떤가?

주요 결과

• NPCFace는 특히 낮은 거짓 수락률(FAR) 영역에서 대규모 얼굴 인식 벤치마크에서 최신 기준 성능을 달성한다.
• 협업 마진 학습을 통해 긍정 및 부정 샘플 간의 상관관계를 활용함으로써 어려운 긍정 및 부정 샘플에서의 정확도를 크게 향상시킨다.
• 개선된 부정 강조 공식은 안정적인 훈련과 탄력적인 하이퍼파rameter 제어를 가능하게 하여 훈련의 불안정성을 감소시킨다.
• 협업 마진 메커니즘은 더 나은 특징 분류 능력을 유도하며, 이는 더 좁은 외부 클래스 간 간격과 더 낮은 내부 클래스의 뭉치 정도로 입증된다.
• 낮은 FAR 평가 환경에서 여러 대규모 데이터셋에서 이전 최신 기준 기술인 ArcFace, CurricularFace, ArcNegFace를 초월하는 성능을 기록한다.