[논문 리뷰] von Mises-Fisher Mixture Model-based Deep learning: Application to Face Verification

Md. Abul Hasnat, Julien Bohné외 3명|arXiv (Cornell University)|2017. 06. 13.

Face recognition and analysis참고 문헌 68인용 수 61

한 줄 요약

논문은 방향 CNN 특징 학습을 위한 vMF 혼합 모델 기반 손실(vMFML)을 도입하여 여러 얼굴 검증 벤치에서 최첨단 결과를 달성한다.

ABSTRACT

A number of pattern recognition tasks, extit{e.g.}, face verification, can be boiled down to classification or clustering of unit length directional feature vectors whose distance can be simply computed by their angle. In this paper, we propose the von Mises-Fisher (vMF) mixture model as the theoretical foundation for an effective deep-learning of such directional features and derive a novel vMF Mixture Loss and its corresponding vMF deep features. The proposed vMF feature learning achieves the characteristics of discriminative learning, extit{i.e.}, compacting the instances of the same class while increasing the distance of instances from different classes. Moreover, it subsumes a number of popular loss functions as well as an effective method in deep learning, namely normalization. We conduct extensive experiments on face verification using 4 different challenging face datasets, extit{i.e.}, LFW, YouTube faces, CACD and IJB-A. Results show the effectiveness and excellent generalization ability of the proposed approach as it achieves state-of-the-art results on the LFW, YouTube faces and CACD datasets and competitive results on the IJB-A dataset.

연구 동기 및 목표

• von Mises-Fisher 혼합 모델을 사용하여 방향성 딥 피처를 학습하기 위한 이론적 기초를 제공한다.
• vMF Mixture Loss(vMFML)을 개발하고 이를 CNN과 통합하여 판별 가능한 피처 학습을 수행한다.
• 다양한 얼굴 검증 데이터셋(LFW, YTF, CACD, IJB-A)에서 강한 일반화 성능을 보여준다.
• vMFML과 기존 손실 함수 및 정규화 방법 간의 관계를 보여준다.

제안 방법

• 얼굴 특징을 동등한 클래스 권한을 가진 von Mises-Fisher 분포(vMFMM)의 혼합으로 모델링한다.
• 소프트맥스 를 vMF 기반 후방확률 및 교차 엔트로피 목적함수로 대체하여 vMF Mixture Loss(vMFML)을 도출한다.
• 클래스 중심을 평균 방향 mu로 표현하고 집중도 kappa를 갖게 하며 특징을 단위 길이로 정규화한다.
• vMFML로 엔드-투-엔드 CNN 학습을 위한 기울기 및 역전파 규칙을 제공한다.
• 512-차 방향 특징을 추출하고 단위 정규화를 적용하기 위해 ResNet 기반 CNN(Res-27)을 사용한다.
• vMFML과 널리 사용되는 손실 함수(소프트맥스 변형, 센터 로스, 각도/대규모 여유 손실) 및 정규화 스킴 사이의 이론적 연결을 논의한다.

실험 결과

연구 질문

• RQ1 vMF Mixture Loss(vMFML)가 특징을 클래스 평균 방향 주위에 집중시키면서 초구(hypersphere)에서 클래스를 분리하여 판별 학습을 가능하게 하는가?
• RQ2 vMFML이 얼굴 인식에 사용되는 다른 손실 함수(예: 소프트맥스 변형, 센터 로스, 각도 여유 손실)를 어떻게 관련시키고 포괄하는가?
• RQ3 표준 얼굴 검증 벤치마크(LFW, YouTube Faces, CACD, IJB-A)에서 vMFML-학습된 CNN의 성능은 어떠한가?
• RQ4 제안된 방법이 포즈, 조명, 나이 변화가 있는 데이터셋에서 일반화되는가?

주요 결과

• vMFML은 같은 클래스의 특징을 mu 주변에 집중시키고 제어 가능한 kappa로 구분하며 단위 구에서 클래스를 분리하는 판별 피처 학습을 가능하게 한다.
• 이 방법은 LFW, YouTube Faces, CACD 데이터셋에서 최첨단 결과를 달성한다.
• IJB-A에서 이 방법은 경쟁력 있는 성능을 보여주며( TAR@FAR=0.001 = 85%가 초록에 보고됨).
• 단일 CNN 모델(vMFML로 학습)만 필요하여 여러 손실 항과 추가 거리 학습 단계를 피할 수 있다.
• 이 방법은 단위 정규화 특성과 mu를 통해 정규화를 통합하여 효율적인 학습과 해석 가능한 매개변수(mu와 kappa)를 제공한다.
• 본 연구는 vMFML이 여러 기존 FR 손실 및 정규화 전략을 포섭하거나 관련이 있음을 보여주며 이를 이해하기 위한 이론적 관점을 제공한다.