[논문 리뷰] L2-constrained Softmax Loss for Discriminative Face Verification

Rajeev Ranjan, Carlos D. Castillo외 1명|arXiv (Cornell University)|2017. 03. 28.

Face recognition and analysis인용 수 279

한 줄 요약

본 논문은 softmax 손실에 L2-노름 제약을 추가하여 특징이 하이퍼스피어에 위치하도록 만들고, IJB-A, LFW, YouTube Faces 데이터셋에서 얼굴 검증 성능을 크게 향상시킨다.

ABSTRACT

In recent years, the performance of face verification systems has significantly improved using deep convolutional neural networks (DCNNs). A typical pipeline for face verification includes training a deep network for subject classification with softmax loss, using the penultimate layer output as the feature descriptor, and generating a cosine similarity score given a pair of face images. The softmax loss function does not optimize the features to have higher similarity score for positive pairs and lower similarity score for negative pairs, which leads to a performance gap. In this paper, we add an L2-constraint to the feature descriptors which restricts them to lie on a hypersphere of a fixed radius. This module can be easily implemented using existing deep learning frameworks. We show that integrating this simple step in the training pipeline significantly boosts the performance of face verification. Specifically, we achieve state-of-the-art results on the challenging IJB-A dataset, achieving True Accept Rate of 0.909 at False Accept Rate 0.0001 on the face verification protocol. Additionally, we achieve state-of-the-art performance on LFW dataset with an accuracy of 99.78%, and competing performance on YTF dataset with accuracy of 96.08%.

연구 동기 및 목표

• 소프트맥스 기반 얼굴 검증의 훈련을 유도하여 같은 신원과 다른 신원의 쌍 간의 검증 수준 분리를 직접 최적화한다.
• 모든 샘플에서 일정한 특징 크기를 강제하기 위해 간단한 L2-노름 제약을 도입한다.
• 제한된 손실이 정규화된 공간에서 더 나은 검증 여유를 제공한다는 것을 보여주되, 복잡한 감독 신호를 추가하지 않는다.
• 스케일 파라미터 alpha의 실용적 구현 세부사항과 그 경계에 대한 분석을 제공한다.

제안 방법

• 퍼넷 마지막 레이어 뒤에 L2-정규화 및 스케일링 레이어를 도입하여 고정된 특징 반지름 alpha를 강제한다.
• 미니배치의 모든 i에 대해 특징 디스크립터 f(x)의 L2 노름을 alpha로 제약한다: ||f(x_i)||_2 = alpha.
• 이 제약 하에서 표준 softmax 손실을 최적화하여 정규화된 공간에서 양성의 코사인 유사성을 최대화하고 음성의 이를 최소화한다.
• 훈련 중 L2-정규화 및 스케일링 레이어(알파 포함)를 통한 그래디언트 전파를 도출하고 논의한다.
• alpha 선택에 대한 이론적 가이드를 제공하며, 클래스 수 C와 특징 차원 D에서 도출된 하한 a_low를 포함한다.

실험 결과

연구 질문

• RQ1 L2-softmax를 통한 특징 표준화가 일반 Softmax에 비해 얼굴 검증에서 구분력을 향상시키는가?
• RQ2 스케일 파라미터 alpha가 데이터셋과 네트워크 아키텍처에 따라 성능에 어떤 영향을 미치는가?
• RQ3 L2-softmax 접근법을 기존 보조 손실(예: 센터 손실) 또는 메트릭 학습 방법과 효과적으로 결합할 수 있는가?
• RQ4 다양한 학습 데이터 세트 크기와 네트워크 백본에서 개선 효과가 일관적인가?

주요 결과

• LFW 정확도가 RX101를 사용한 L2-softmax로 99.78%로 향상되어 다수의 기준선 benchmarks를 능가한다.
• YouTube Faces에서 RX101와의 L2-softmax가 96.08%의 정확도를 달성하여 최첨단과 경쟁한다.
• 도전적인 IJB-A 1:1 검증 프로토콜에서 alpha=12–32인 L2-softmax가 FAR=0.0001에서 TAR이 0.734–0.744 범위까지 상승하여 소프트맥스 기준선을 능가한다.
• 보조 손실(예: 센터 손실)과 L2-softmax의 결합은 추가 이점을 제공하며, 예를 들어 LFW에서 센터 손실 + L2-softmax가 99.33%를 달성한다.
• IJB-A에서 L2-softmax를 사용한 TPE는 FAR=0.0001에서 TAR이 0.909를 달성하여 기존 기록을 상회한다.
• 이 방법은 여러 DCNN 백본(Face-Resnet, All-In-One Face, ResNet-101, ResNeXt-101)에서 일관된 개선을 보여준다.