[논문 리뷰] Range Loss for Deep Face Recognition with Long-tail

Xiao Zhang, Zhiyuan Fang외 3명|arXiv (Cornell University)|2016. 11. 28.

Face recognition and analysis참고 문헌 31인용 수 51

한 줄 요약

이 논문은 장수분포 데이터 분포 하에서 내부 클래스 변동성을 감소시키고 외부 클래스 간 간격을 증가시키는 데 목적이 있는 새로운 손실 함수인 범위 손실을 제안한다. 미니배치 내에서 k개의 가장 큰 내부 클래스 거리의 조화 평균과 가장 짧은 외부 클래스 거리를 최적화함으로써, 범위 손실은 부족한 샘플을 가진 클래스로부터 효과적으로 학습할 수 있도록 하며, 불균형 데이터 조건에서도 LFW 및 YTF 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Convolutional neural networks have achieved great improvement on face recognition in recent years because of its extraordinary ability in learning discriminative features of people with different identities. To train such a well-designed deep network, tremendous amounts of data is indispensable. Long tail distribution specifically refers to the fact that a small number of generic entities appear frequently while other objects far less existing. Considering the existence of long tail distribution of the real world data, large but uniform distributed data are usually hard to retrieve. Empirical experiences and analysis show that classes with more samples will pose greater impact on the feature learning process and inversely cripple the whole models feature extracting ability on tail part data. Contrary to most of the existing works that alleviate this problem by simply cutting the tailed data for uniform distributions across the classes, this paper proposes a new loss function called range loss to effectively utilize the whole long tailed data in training process. More specifically, range loss is designed to reduce overall intra-personal variations while enlarging inter-personal differences within one mini-batch simultaneously when facing even extremely unbalanced data. The optimization objective of range loss is the $k$ greatest range's harmonic mean values in one class and the shortest inter-class distance within one batch. Extensive experiments on two famous and challenging face recognition benchmarks (Labeled Faces in the Wild (LFW) and YouTube Faces (YTF) not only demonstrate the effectiveness of the proposed approach in overcoming the long tail effect but also show the good generalization ability of the proposed approach.

연구 동기 및 목표

• 내부 클래스가 충분한 훈련 샘플이 없어 특징 학습이 열악한 장수분포 문제를 해결하기 위해.
• 희귀(꼬리) 클래스를 포함한 모든 데이터를 데이터 필터링이나 오버샘플링 없이 효과적으로 활용할 수 있는 손실 함수를 개발하기 위해.
• 각 미니배치 내에서 어려운 내부 클래스 샘플에 집중함으로써 모델 일반화 성능을 향상시키기 위해.
• 제안된 손실이 다양한 벤치마크와 네트워크 아키텍처에 걸쳐 효과성과 일반화 능력을 입증하기 위해.

제안 방법

• 범위 손실은 미니배치 내에서 k개의 가장 큰 내부 클래스 유클리드 거리의 조화 평균으로 정의되며, 각 정체성에 대해 특징 공간 내의 밀도를 높이는 데 기여한다.
• 동시에 같은 배치 내에서 두 정체성 간의 가장 짧은 외부 클래스 거리를 최소화함으로써, 정체성 간 분리도를 향상시킨다.
• 소프트맥스 손실과 함께 공동 최적화되어, 클래스의 구분 능력을 유지하면서도 장수분포 데이터에 대한 강건성을 향상시킨다.
• 훈련 중에 동적으로 내부 클래스 범위를 재계산하여 각 클래스 내에서 가장 과제가 큰 샘플에 집중한다.
• 딥 리스크 네트워크에 적용되어 최소한의 데이터 필터링으로 표준 페이스 인식 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 희귀 클래스를 제거하거나 오버샘플링하지 않고도 장수분포 데이터셋에서 딥 페이스 인식 성능을 향상시킬 수 있는 손실 함수를 설계할 수 있는가?
• RQ2 미니배치 내에서 내부 클래스의 밀도와 외부 클래스 간 간격을 최적화함으로써, 부족한 샘플을 가진 정체성에 대한 모델 일반화 성능에 어떤 영향을 미치는가?
• RQ3 범위 손실을 소프트맥스 손실과 조합하면, 각각을 별도로 사용하거나 기존의 대안(예: 대비 손실)을 사용하는 것보다 더 나은 특징 학습을 이끌 수 있는가?
• RQ4 제안된 손실은 다양한 딥 네트워크 아키텍처에 일반화되어 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 150만 장의 필터링된 이미지로 범위 손실과 소프트맥스 손실을 함께 훈련시킨 모델 E는 LFW에서 99.52%의 정확도를 기록하여 기준 모델 D(98.27%)보다 1.25%포인트 높은 성능을 보였다.
• YTF에서 동일한 모델은 93.70%의 정확도를 기록하여 기준 모델 D(93.10%)보다 0.60%포인트 향상된 성능을 보였다.
• 범위 손실 기반 모델은 더 작은 훈련 데이터셋을 사용했음에도 불구하고, DeepID-2+, FaceNet, DeepFace와 같은 여러 최신 기술 수준의 모델을 초월했다.
• 범위 손실 통합으로 인해, 가장 흔하지 않은 50%의 정체성에 대해서도 효과적으로 학습이 가능해져 기준 모델 대비 성능이 0.43% 향상되었다.
• 이 방법은 다양한 네트워크 아키텍처와 데이터 스케일에서 높은 성능를 유지하며 강력한 일반화 능력을 입증했다.