[논문 리뷰] Crystal Loss and Quality Pooling for Unconstrained Face Verification and Recognition

Rajeev Ranjan, Ankan Bansal외 5명|arXiv (Cornell University)|2018. 04. 03.

Face recognition and analysis참고 문헌 49인용 수 46

한 줄 요약

본 논문은 피처를 하이퍼스피어에 놓이도록 제약하는 Crystal Loss를 도입하여 얼굴 검증/인식을 개선하고, Quality Pooling/Attenuation을 통해 얼굴 품질 점수를 이용해compact video/template 표현을 생성하고 조정합니다.

ABSTRACT

In recent years, the performance of face verification and recognition systems based on deep convolutional neural networks (DCNNs) has significantly improved. A typical pipeline for face verification includes training a deep network for subject classification with softmax loss, using the penultimate layer output as the feature descriptor, and generating a cosine similarity score given a pair of face images or videos. The softmax loss function does not optimize the features to have higher similarity score for positive pairs and lower similarity score for negative pairs, which leads to a performance gap. In this paper, we propose a new loss function, called Crystal Loss, that restricts the features to lie on a hypersphere of a fixed radius. The loss can be easily implemented using existing deep learning frameworks. We show that integrating this simple step in the training pipeline significantly improves the performance of face verification and recognition systems. We achieve state-of-the-art performance for face verification and recognition on challenging LFW, IJB-A, IJB-B and IJB-C datasets over a large range of false alarm rates (10-1 to 10-7).

연구 동기 및 목표

• Softmax 로스가 검증을 위한 양성 및 음성 쌍의 유사도를 최적화하지 못하는 문제를 해결한다.
• 특징에 고정된 L2 노름을 강제하여 정규화된/각도 공간에서 검증 여백을 개선한다.
• Quality Pooling을 통해 얼굴 인식 점수로 프레임 특징을 가중해 compact video/template 표현을 형성한다.
• Quality Attenuation을 도입해 얼굴 품질에 따라 유사도 점수를 재조정하여 낮은 FAR 성능을 개선한다.
• 도전적인 unconstrained 데이터셋에서 최첨단 성능을 보여준다.

제안 방법

• 피처가 반지름이 alpha인 하이퍼스피어 위에 놓이도록 L2 규제를 추가하여 Crystal Loss를 도입한다.
• 훈련 중 조정 가능한 스케일 레이어 다음에 L2 정규화 계층으로 제약을 구현한다.
• Crystal Loss를 von Mises-Fisher 분포의 특수한 경우로 해석하고 스케일 매개변수 alpha의 역할을 분석한다.
• Quality Pooling을 제안하여 얼굴 인식 점수로 프레임 특징에 가중치를 부여해 compact video/template 서술자를 형성한다.
• Quality Attenuation을 도입하여 쌍의 얼굴 품질이 낮을 때 검증 점수를 재스케일링한다.
• LFW, IJB-A, IJB-B, IJB-C 등의 데이터셋에서 검증하고 소프트맥스 베이스라인 및 다른 방법과 비교한다.

실험 결과

연구 질문

• RQ1 제한된 환경에서도 고정된 L2 노름을 가진 피처가 얼굴 표현의 판별력을 향상시킬 수 있는가?
• RQ2 스케일 매개변수 alpha가 성능에 어떤 영향을 미치며 안정적인 학습을 위한 실용적 경계는 무엇인가?
• RQ3 얼굴 인식 품질로 프레임 특징을 가중하면 비디오/템플릿 검증이 향상되는가?
• RQ4 얼굴 품질에 따라 유사도 점수를 재조정하면 매우 낮은 FAR에서 잘못된 허용(false accepts) 감소에 도움이 되는가?
• RQ5 LFW 및 IJB系列와 같은 최첨단 데이터셋에서의 관찰된 영향은 무엇인가?

주요 결과

• Crystal Loss는 도전적인 데이터셋에서 일반 소프트맥스보다 검증 및 인식 성능을 크게 향상시킨다.
• 특징의 고정된 L2 노름은 클래스 간 각도 여지를 증가시키고 클래스 내 각도 변이를 줄인다.
• Quality Pooling은 얼굴 인식 점수로 프레임에 가중치를 두어 비디오/템플릿 표현을 더 분별력 있게 만든다.
• Quality Attenuation은 낮은 품질의 검증 쌍에 대해 점수를 줄여 매우 낮은 FAR에서 TAR를 개선한다.
• 이 방법은 LFW, IJB-A, IJB-B, IJB-C 데이터셋에서 최첨단 성능을 달성하며 다른 메트릭 학습 방법을 보완한다.
• 프레임워크는 다중 네트워크나 손실이 필요 없이 end-to-end 학습 가능하게 통합된다.