[논문 리뷰] Large-scale Bisample Learning on ID Versus Spot Face Recognition

Xiangyu Zhu, Hao Liu외 6명|arXiv (Cornell University)|2018. 06. 08.

Face recognition and analysis참고 문헌 57인용 수 9

한 줄 요약

이 논문은 ID 대 스포트(IvS) 얼굴 인식을 위한 대규모 이샘플 학습(LBL)을 제안하며, 각 정체성당 두 개의 샘플만으로도 약한 내부 클래스 변동성과 대규모 클래스에 대한 확장성을 해결한다. CVC 학습 전략(분류–검증–분류)과 주도 프로토타입 소프트맥스(DP-softmax)를 도입하여, 각 정체성당 단 두 개의 샘플만으로도 효과적인 딥 러닝을 가능하게 하였으며, 200만 명 이상의 정체성이 포함된 데이터셋에서 0.15%의 클래스 샘플링으로 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

In real-world face recognition applications, there is a tremendous amount of data with two images for each person. One is an ID photo for face enrollment, and the other is a probe photo captured on spot. Most existing methods are designed for training data with limited breadth (a relatively small number of classes) and sufficient depth (many samples for each class). They would meet great challenges on ID versus Spot (IvS) data, including the under-represented intra-class variations and an excessive demand on computing devices. In this paper, we propose a deep learning based large-scale bisample learning (LBL) method for IvS face recognition. To tackle the bisample problem with only two samples for each class, a classification-verification-classification (CVC) training strategy is proposed to progressively enhance the IvS performance. Besides, a dominant prototype softmax (DP-softmax) is incorporated to make the deep learning scalable on large-scale classes. We conduct LBL on a IvS face dataset with more than two million identities. Experimental results show the proposed method achieves superior performance to previous ones, validating the effectiveness of LBL on IvS face recognition.

연구 동기 및 목표

• 정체성당 두 개의 샘플만으로도 대규모 IvS 얼굴 데이터에서 딥 네트워크를 훈련시키는 도전 과제를 해결한다.
• 각 클래스당 제한된 훈련 샘플로 인해 발생하는 약한 내부 클래스 변동성을 극복한다.
• 제한된 GPU 자원으로도 대규모 클래스 수(예: 200만 명 이상의 정체성)에서 확장 가능한 딥 러닝을 가능하게 한다.
• 이질적인 ID 및 스포트 이미지가 혼재된 실세계 IvS 시나리오에서 일반화 능력 향상과 분류 가능한 특징 학습을 개선한다.
• 대규모 이샘플 학습을 시뮬레이션할 수 있는 재현 가능한 벤치마크를 제공하기 위해 Megaface-bisample 프로토콜을 개발한다.

제안 방법

• 분류–검증–분류(CVC) 학습 전략을 제안한다: 웹 데이터를 통해 분류 방식으로 사전 훈련한 후, IvS 데이터를 통해 검증 방식으로 미세조정한 다음, 대규모 분류 방식으로 재훈련한다.
• 각 배치당 가장 주도적이고 유사한 클래스만 선택하여 계산 비용을 줄이는 주도 프로토타입 소프트맥스(DP-softmax)를 도입한다.
• 클래스 간 거리 정보를 활용해 주도적인 클래스를 식별함으로써, 각 미니배치에서 총 클래스의 0.15%만을 사용하여 효과적인 기울기 업데이트를 가능하게 한다.
• 훈련 중에 유사한 클래스를 동적으로 추적하고 업데이트하기 위해 각 클래스당 주도 큐를 구성한다.
• 특정 정체성의 특징가 없을 경우, 특히 Megaface-bisample 시뮬레이션에서 평균 프로토타입을 초기화에 활용한다.
• 대규모 이샘플 학습의 재현 가능한 평가를 가능하게 하기 위해 Public-IvS 데이터셋과 새로운 프로토콜인 Megaface-bisample을 공개한다.

실험 결과

연구 질문

• RQ1 웹에서 수집한 데이터로부터 지식을 전이하는 데 있어, 정체성당 두 개의 샘플만으로도 CVC 학습 전략이 효과적으로 IvS 얼굴 인식에 기여할 수 있는가?
• RQ2 제한된 GPU 메모리 자원으로도 200만 개 이상의 정체성이 포함된 IvS 데이터셋에서 딥 러닝을 어떻게 확장 가능한 방식으로 수행할 수 있는가?
• RQ3 소프트맥스 손실에서 주도 프로토타입 선택 기법이 총 클래스의 0.15%만을 사용함으로써 성능 저하 없이 훈련 비용을 줄일 수 있는가?
• RQ4 제안된 DP-softmax 방법이 대규모 이샘플 얼굴 인식에서 표준 소프트맥스 및 기타 손실 변형보다 우수한 성능을 보일 수 있는가?
• RQ5 Megaface-bisample 프로토콜이 실세계 IvS 데이터의 과제를 정확하게 시뮬레이션하여 벤치마크에 적합한가?

주요 결과

• 제안된 LBL 방법은 CASIA-IvS-Test에서 10^-5의 FAR에서 97.70%의 검증률을 달성하여 이전 최신 기술 수준의 방법들을 능가하였다.
• DP-softmax는 각 배치당 총 클래스의 0.15%만을 사용함으로써 GPU 메모리 사용량을 크게 줄이는 데 성공하였다.
• CVC 전략은 단계별로 성능 향상을 보였으며, 특히 검증 단계와 최종 분류 단계에서 두드러진 성능 향상이 관찰되었다.
• Megaface-bisample 프로토콜에서 LBL(DP-softmax)는 10^-5의 FAR에서 73.86%의 VR을 달성하여 모든 기준 모델보다 8个百分点 이상 높은 성능을 보였다.
• 다양한 벤치마크(예: Public-IvS 및 Megaface-bisample)에서 일관된 성능 향상을 보이며 일반화 능력이 뛰어나다는 것이 입증되었다.
• Public-IvS 데이터셋과 Megaface-bisample 프로토콜의 공개로, 대규모 이샘플 학습의 재현 가능한 평가 및 향후 벤치마크 개발이 가능해졌다.