[논문 리뷰] One-shot Face Recognition by Promoting Underrepresented Classes

Yandong Guo, Lei Zhang|arXiv (Cornell University)|2017. 07. 18.

Face recognition and analysis참고 문헌 30인용 수 103

한 줄 요약

이 논문은 대규모 얼굴 인식에서 불균형한 학습 데이터를 다루며, robust 특징 학습을 위한 Classification Vector-Centered Cosine Similarity (CCS) 손실과 다항 로지스틱 회귀에서 저대표 클래스의 성능을 높이는 Underrepresented-Classes Promotion (UP) 손실을 추가한다.

ABSTRACT

In this paper, we study the problem of training large-scale face identification model with imbalanced training data. This problem naturally exists in many real scenarios including large-scale celebrity recognition, movie actor annotation, etc. Our solution contains two components. First, we build a face feature extraction model, and improve its performance, especially for the persons with very limited training samples, by introducing a regularizer to the cross entropy loss for the multi-nomial logistic regression (MLR) learning. This regularizer encourages the directions of the face features from the same class to be close to the direction of their corresponding classification weight vector in the logistic regression. Second, we build a multi-class classifier using MLR on top of the learned face feature extraction model. Since the standard MLR has poor generalization capability for the one-shot classes even if these classes have been oversampled, we propose a novel supervision signal called underrepresented-classes promotion loss, which aligns the norms of the weight vectors of the one-shot classes (a.k.a. underrepresented-classes) to those of the normal classes. In addition to the original cross entropy loss, this new loss term effectively promotes the underrepresented classes in the learned model and leads to a remarkable improvement in face recognition performance. We test our solution on the MS-Celeb-1M low-shot learning benchmark task. Our solution recognizes 94.89% of the test images at the precision of 99\% for the one-shot classes. To the best of our knowledge, this is the best performance among all the published methods using this benchmark task with the same setup, including all the participants in the recent MS-Celeb-1M challenge at ICCV 2017.

연구 동기 및 목표

• 다수의 아이덴티티 간에 학습 데이터가 매우 불균형한 상황에서 강건한 얼굴 표현 학습을 촉진하고 원샷 클래스를 포함한 학습을 목표로 한다.
• 차별적 특징 방향을 촉진하기 위한 규제 교차 엔트로피 목표를 개발한다.
• 원샷 클래스의 일반화 성능을 높이기 위해 기반 클래스의 가중치 크기를 정렬하는 UP 손실을 도입한다.
• 기반 집합에서 강력한 특징 추출기를 학습하고 기반 클래스 및 저샘플 클래스를 포함한 분류기를 두 단계로 평가하는 방법을 제시한다.
• 재현 가능한 벤치마크를 구성하여 원샷 얼굴 인식 연구를 촉진한다.

제안 방법

• 기본 교차 엔트로피 손실과 대응하는 클래스 가중 벡터에 대해 특징 방향의 정렬을 유도하는 CCS 항을 결합한 손실로 학습된 ResNet-34 특징 추출기를 사용한다.
• CCS 손실은 각 샘플의 특징과 그 샘플의 클래스 가중 벡터 간의 코사인 유사도를 계산하여 방향 정렬을 촉진한다.
• Softmax 분류기의 바이어스 항을 제거하여 의사결정 공간의 기하를 명확히 한다.
• 학습된 특징 위에 다항 로지스틱 회귀(MLR) 분류기를 학습한다; 작은 클래스 파티션으로 인해 원샷 클래스에서 표준 MLR의 성능이 저하된다.
• 기저와 저샘플 클래스의 가중 벡터 평균의 제곱 차이를 제곱으로 벌점화하는 UP 손실을 도입하여 저대표 클래스의 더 크고 균형 잡힌 파티션을 촉진한다.
• 효과를 평가하기 위해 대안 사전(제곱 L2 노름 페널티, 동일 노름 제약)과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 각도 규제기(CCS)가 불균형한 얼굴 데이터셋에서 차별적 특징 학습을 개선할 수 있는가?
• RQ2 저대표 클래스의 가중치 크기를 촉진하는 UP 손실이 원샷 클래스 인식 성능을 향상시키고 기본 클래스 성능에 해를 끼치지 않는가?
• RQ3 CCS와 UP가 표준 교차 엔트로피와 상호 작용하여 대규모 얼굴 벤치마크에서 원샷 학습을 강화하는가?
• RQ4 불균형 학습 데이터가 얼굴 인식에서 MLR 가중치 노름과 클래스 결정 경계에 어떤 영향을 미치는가?
• RQ5 제안된 2단계 접근 방식이 baselines와 비교하여 MS-Celeb-1M 저샘플 벤치마크에서 어떻게 수행되는가?

주요 결과

Method	C@ 99%	C@ 99.9%
고정 피처	25.65%	0.89%
SGM [8]	27.23%	4.24%
피처 업데이트	26.09%	0.97%
직접 학습	15.25%	0.84%
정규화 축소 (식 Eq.12)	32.58%	2.11%
동등 노름 (식 Eq.13)	32.56%	5.18%
UP만 (식 Eq.10)	77.48%	47.53%
CCS만 (식 Eq.4)	62.55%	11.13%
우리의 CCS (4) plus UP (10)	94.89%	83.60%
하이브리드 [28]	92.64%	N/A
도플링어 [19]	73.86%	N/A
생성 기반 [3]	61.21%	N/A

• CCS를 사용하면 LFW 검증이 99.71%로 향상되며(기초에서 CCS 손실 변형으로 99.28% 대비) 더 강력한 특징 판별력을 시사한다.
• CCS와 함께 UP를 사용하면 저샘플 테스트 이미지에서 99% 정밀도에서 94.89%, 99.9% 정밀도에서 83.60%의 커버리지를 달성하여 모든 대안보다 우수하다.
• UP 항이 없으면 표준 MLR에서 99% 정밀도에서 저샘플 커버리지가 25.65%로 떨어져 원샷 학습의 어려움을 강조한다.
• 표 4는 동일한 설정에서 MS-Celeb-1M 저샘플 벤치마크에서 CCS+UP가 보고된 방법 중 최고의 원샷 성능을 달성함을 보여준다: 99% 정밀도에서 94.89%, 99.9%에서 83.60%.
• 기저 집합 성능은 높은 상태를 유지하고(그들의 설정에서 Top-1 99.8%), 저샘플 인식도 향상.
• 제안된 방법은 재현 가능한 벤치마크를 확립하고 기본선 및 여러 대체 정규화 전략 대비 상당한 이점을 보여준다.