[논문 리뷰] Ring loss: Convex Feature Normalization for Face Recognition

Yutong Zheng, Dipan K. Pal외 1명|arXiv (Cornell University)|2018. 02. 28.

Face recognition and analysis참고 문헌 23인용 수 10

한 줄 요약

이 논문은 깊이 신경망 특징을 단위 초구면상의 학습된 노름으로 제약하는 볼록이고 미분 가능한 특징 정규화 방법인 Ring loss를 소개한다. 이는 얼굴 인식의 강인성을 향상시킨다. IJB-A Janus와 Janus CS3에서 최신 기술을 초월하며, 100만 개의 배경 샘플이 있는 MegaFace에서 최고 성능(SOTA)을 달성한다. 또한 학습 중 일관된 특징 노름을 유지함으로써 저해상도 얼굴 매칭 성능을 향상시킨다.

ABSTRACT

We motivate and present Ring loss, a simple and elegant feature normalization approach for deep networks designed to augment standard loss functions such as Softmax. We argue that deep feature normalization is an important aspect of supervised classification problems where we require the model to represent each class in a multi-class problem equally well. The direct approach to feature normalization through the hard normalization operation results in a non-convex formulation. Instead, Ring loss applies soft normalization, where it gradually learns to constrain the norm to the scaled unit circle while preserving convexity leading to more robust features. We apply Ring loss to large-scale face recognition problems and present results on LFW, the challenging protocols of IJB-A Janus, Janus CS3 (a superset of IJB-A Janus), Celebrity Frontal-Profile (CFP) and MegaFace with 1 million distractors. Ring loss outperforms strong baselines, matches state-of-the-art performance on IJB-A Janus and outperforms all other results on the challenging Janus CS3 thereby achieving state-of-the-art. We also outperform strong baselines in handling extremely low resolution face matching.

연구 동기 및 목표

• 딥 얼굴 인식에서 특징 정규화에 대한 원칙적인 근거가 부족한 문제를 해결하기 위해.
• 기존 방법에서 하드 정규화의 비볼록성으로 인해 최적화 불안정성과 국소 최적해 문제가 발생하는 것을 극복하기 위해.
• 학습 중에 최적의 특징 노름을 학습할 수 있도록 볼록적이고 미분 가능한 정규화 접근법을 개발하기 위해.
• 추론 시 사용되는 코사인 기반 매칭과 일치시키기 위해 학습 및 추론 프로토콜 간 격차를 줄이기 위해.
• 얼굴 인식 작업에서 해상도 열화와 자세 변화에 대한 강인성을 향상시키기 위해.

제안 방법

• Ring loss는 학습 중에 목표 값 R로 특징 노름을 점진적으로 제약하는 볼록한 노름 제약을 도입하여, 비볼록한 하드 정규화를 피한다.
• 단일 하이퍼파rameter인 손실 가중치 λ를 포함하여 주 분류 손실(예: Softmax)과 함께 최적화되는 유연한 소프트 정규화 손실로 공식화된다.
• l2-노름 제약의 볼록적 근사화를 사용하여 안정적인 최적화를 보장하고, 비볼록 공식화에서 발생하는 국소 최적해를 방지한다.
• 목표 노름 R은 학습 중에 내재적으로 학습되며, 이로써 네트워크가 최적의 특징 크기를 적응적으로 결정할 수 있다.
• 기울기 기반 최적화를 통해 표준 backpropagation와 함께 깊이 신경망에 원활하게 통합된다.
• 특징 공간에서 코사인 유사도를 암묵적으로 촉진하여, 학습 단계를 추론 시 사용되는 코사인 거리 측정법과 일치시킨다.

실험 결과

연구 질문

• RQ1 비볼록 대안 대비 볼록적이고 미분 가능한 정규화 방법이 딥 얼굴 인식 성능 향상에 기여하는가?
• RQ2 학습 중 공유된 최적의 특징 노름을 학습함으로써 해상도 열화 및 자세 변화에 대한 강인성이 향상되는가?
• RQ3 특징 정규화가 얼굴 인식에서 학습과 추론 프로토콜 간 격차를 줄일 수 있는가?
• RQ4 l2-제약 Softmax와 중심 손실과 같은 기존 정규화 기법과 비교해 볼 때, 극저해상도 환경에서 Ring loss는 어떻게 성능을 내는가?
• RQ5 Ring loss의 볼록성은 다양한 벤치마크에서 더 안정적이고 일반화 가능한 특징 표현을 이끌어내는가?

주요 결과

• Ring loss는 IJB-A Janus 1:1 검증 프로토콜에서 이전 모든 방법들, 특히 SphereFace와 l2-제약 Softmax를 뛰어넘는 최고 성능(SOTA)을 달성한다.
• 더 도전적인 Janus CS3 프로토콜에서 Ring loss는 10^-3 FAR에서 90.99%의 검증 정확도를 기록하여 모든 기준 모델을 능가하고 새로운 SOTA를 수립한다.
• 100만 개의 배경 샘플이 있는 MegaFace 벤치마크에서 Ring loss는 강력한 기준 모델들을 능가하며 최고 성능(SOTA)을 유지한다.
• 저해상도 실험에서는 64x 다운샘플링 조건에서도 Ring loss는 성능을 유지하지만, l2-제약 Softmax는 성능이 저하되어 표준 Softmax보다 열등하다.
• CFP 프론탈 대 비프로파일 데이터셋에서 Ring loss는 10^-3 FAR에서 검증 정확도를 87.43%까지 향상시켰으며, 이는 Softmax(55.86%)와 l2-제약 Softmax(83.69%)를 크게 능가한다.
• λ 값의 다양한 범위에서 일관된 성능 향상이 관찰되어 하이퍼파ram터 튜닝에 대한 강인성을 보여준다.