[논문 리뷰] NPCFace: Negative-Positive Collaborative Training for Large-scale Face Recognition

Dan Zeng, Hailin Shi외 4명|arXiv (Cornell University)|2020. 07. 20.

Face recognition and analysis참고 문헌 50인용 수 11

한 줄 요약

NPCFace는 소프트맥스 로그이트에 협업 마진 메커니즘을 도입하여 대규모 얼굴 인식에서 하드 편성(내부 클래스) 및 하드 부정(외부 클래스) 샘플 간의 상관관계를 명시적으로 모델링하는 새로운 손실 함수를 제안한다. 각 샘플에 대해 양성 및 부정 로그에 대한 마진을 동시에 최적화함으로써 NPCFace는 특히 저위험 수락률(FAR) 범위에서 최신 기술 수준의 성능을 달성하였으며, IJB-C에서 1e-5 FAR일 때 77.01%의 인증률을 기록했고, MS-Celeb-1M에서 학습 시간이 단지 6.1% 증가하는 데 그친다.

ABSTRACT

The training scheme of deep face recognition has greatly evolved in the past years, yet it encounters new challenges in the large-scale data situation where massive and diverse hard cases occur. Especially in the range of low false accept rate (FAR), there are various hard cases in both positives (intra-class) and negatives (inter-class). In this paper, we study how to make better use of these hard samples for improving the training. The literature approaches this by margin-based formulation in either positive logit or negative logits. However, the correlation between hard positive and hard negative is overlooked, and so is the relation between the margins in positive and negative logits. We find such correlation is significant, especially in the large-scale dataset, and one can take advantage from it to boost the training via relating the positive and negative margins for each training sample. To this end, we propose an explicit collaboration between positive and negative margins sample-wisely. Given a batch of hard samples, a novel Negative-Positive Collaboration loss, named NPCFace, is formulated, which emphasizes the training on both negative and positive hard cases via the collaborative-margin mechanism in the softmax logits, and also brings better interpretation of negative-positive hardness correlation. Besides, the emphasis is implemented with an improved formulation to achieve stable convergence and flexible parameter setting. We validate the effectiveness of our approach on various benchmarks of large-scale face recognition, and obtain advantageous results especially in the low FAR range.

연구 동기 및 목표

• 하드 양성 및 하드 부정 샘플이 자주 공존하는 대규모 얼굴 인식 과제를 해결하기 위해, 특히 저위험 수락률(FAR) 범위에서의 성능 향상을 목표로 한다.
• 이전 방법들이 하드 양성 및 하드 부정 샘플을 별도로 다루는 데서 비롯되는 한계를 극복하기 위해, 마진 최적화 과정에서 이들의 상관관계를 모델링한다.
• 샘플 단위의 협업 마진 메커니즘을 통해 하드 양성 및 하드 부정 샘플을 동시에 강조하는 학습 손실을 개발한다.
• 부정 로그에서 개선된 마진 표현을 통해 안정적인 수렴과 민첩한 하이퍼파rameter 조정을 보장한다.
• 특히 도전적인 저위험 수락률 시나리오에서 뛰어난 성능을 내는 대규모 벤치마크에서 뛰어난 성능을 달성한다.

제안 방법

• NPCFace는 소프트맥스 레이어에서 양성 및 부정 로그에 모두 협업 마진을 적용하는 새로운 손실 함수를 도입하여, 하드 내부 클래스 및 외부 클래스 샘플 간의 상관관계를 명시적으로 모델링한다.
• 각 학습 샘플에 대해 하드 양성 및 하드 부정 샘플에 대한 강조를 균형 잡히게 하기 위해 샘플 단위의 마진을 계산함으로써 임bedding 공간 내의 분류 성능을 향상시킨다.
• 부정 로그에서 개선된 마진 매개변수화를 손실 표현식에 통합하여 안정적인 최적화와 민감한 하이퍼파rameter 제어를 보장한다.
• 하드 양성 및 부정 샘플의 어려움에 따라 마진을 동적으로 조정함으로써 더 나은 특징 분리 성능을 달성한다.
• 기존의 딥 얼굴 인식 프레임워크와 호환되며, MS-Celeb-1M에서 학습 시 단지 6.1%의 추가 학습 시간만 증가시키므로 계산 오버헤드가 최소한이다.
• CASIA-WebFace, MS-Celeb-1M, IJB-B, IJB-C 등 다양한 벤치마크에서 추론 및 분석을 통해 검증되었다.

실험 결과

연구 질문

• RQ1 하드 양성 및 하드 부정 샘플 간의 상관관계를 어떻게 활용하여 대규모 얼굴 인식에서의 학습 성능을 향상시킬 수 있는가?
• RQ2 양성 및 부정 로그를 동시에 최적화하는 협업 마진 메커니즘이 일반화 및 강인성을 향상시키는가?
• RQ3 제안된 NPCFace 손실이 기존의 마진 기반 손실보다 특히 저위험 수락률 영역에서 더 뛰어난 성능을 내는가?
• RQ4 기존의 마진 기반 손실 대비 샘플 단위의 협업 마진 적용에 따른 계산 비용은 어떠한가?
• RQ5 부정 로그에서 개선된 마진 표현식이 안정적인 수렴과 민감한 하이퍼파rameter 조정을 보장하는가?

주요 결과

• NPCFace는 1e-4 FAR에서 MS-Celeb-1M에서 99.83%의 인증률을 기록했고, 1e-5 FAR일 땐 99.36%를 달성하여 이 벤치마크에서 모든 이전 방법을 압도했다.
• IJB-B 및 IJB-C 벤치마크에서 NPCFace는 각각 1e-5 FAR에서 92.02% 및 85.59%의 인증률을 기록했으며, 다음으로 우수한 성능을 보인 CurricularFace를 크게 앞서갔다.
• IJB-C에서 1e-5 FAR일 때 ArcFace 대비 2.46%p, CurricularFace 대비 1.51%p의 인증률 향상을 기록했다.
• MS-Celeb-1M에서 10만 개의 아이덴티티로 학습할 때, NPCFace의 계산 비용은 CosFace 및 ArcFace 대비 단지 6.1% 증가하여 효율성을 입증했다.
• 아블레이션 스터디 결과, 협업 마진 메커니즘이 하드 케이스에서 특히 효과적으로 하드 양성 및 부정 샘플 간의 상관관계를 활용하여 성능 향상을 이끌어냈다.
• 부정 로그에서 개선된 마진 표현식은 다양한 학습 설정에서 안정적인 수렴과 민감한 파라미터 조정을 가능하게 하여 검증되었다.