[논문 리뷰] Generative One-Shot Face Recognition

Zhengming Ding, Yandong Guo외 2명|arXiv (Cornell University)|2019. 09. 28.

Face recognition and analysis참고 문헌 46인용 수 9

한 줄 요약

이 논문은 기반 클래스의 데이터 변동성을 활용하여 부족하게 표현된(일회성) 클래스를 위한 현실적인 훈련 데이터를 합성하는 GAN 기반 프레임워크를 제안한다. 통합 최소화 손실을 통해 생성기와 분류기를 함께 훈련시킴으로써, 일회성 신원의 특징 공간 커버리지가 향상되며, MS-Celeb-1M 벤치마크에서 일회성 클래스에서 99% 정밀도에서 94.98%의 커버리지 성능을 달성하면서도 기반 클래스에서는 99.80%의 Top-1 정확도를 유지하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

One-shot face recognition measures the ability to identify persons with only seeing them at one glance, and is a hallmark of human visual intelligence. It is challenging for conventional machine learning approaches to mimic this way, since limited data are hard to effectively represent the data variance. The goal of one-shot face recognition is to learn a large-scale face recognizer, which is capable to fight off the data imbalance challenge. In this paper, we propose a novel generative adversarial one-shot face recognizer, attempting to synthesize meaningful data for one-shot classes by adapting the data variances from other normal classes. Specifically, we target at building a more effective general face classifier for both normal persons and one-shot persons. Technically, we design a new loss function by formulating knowledge transfer generator and a general classifier into a unified framework. Such a two-player minimax optimization can guide the generation of more effective data, which effectively promote the underrepresented classes in the learned model and lead to a remarkable improvement in face recognition performance. We evaluate our proposed model on the MS-Celeb-1M one-shot learning benchmark task, where we could recognize 94.98% of the test images at the precision of 99% for the one-shot classes, keeping an overall Top1 accuracy at $99.80\%$ for the normal classes. To the best of our knowledge, this is the best performance among all the published methods using this benchmark task with the same setup, including all the participants in the recent MS-Celeb-1M challenge at ICCV 2017\footnote{http://www.msceleb.org/challenge2/2017}.

연구 동기 및 목표

• 실제 응용 분야인 법집행 및 대규모 유명인 인식에서 신원당 단일 훈련 이미지로 얼굴을 인식하는 데 도전하는 문제를 해결하기 위해.
• 외부 데이터 증강에 의존하지 않고, 현실적이고 다양한 훈련 샘플을 합성하여 일회성 클래스의 일반화 성능을 향상시키기 위해.
• 낮은 샘플 수를 가진 신원에 대해 인식 정확도를 크게 향상시키면서도 잘 표현된(기반) 클래스의 성능을 유지하기 위해.
• 생성적 데이터 증강을 통해 특징 표현과 분류기 학습을 동시에 최적화하는 통합 훈련 프레임워크를 개발하기 위해.
• 대규모 얼굴 인식에서 데이터 불균형 문제를 완화하는 데 있어 생성 학습의 효과를 검증하기 위해.

제안 방법

• 기반 클래스 얼굴의 데이터 분포를 모델링하여 일회성 신원의 얼굴 이미지를 합성하는 생성기를 학습시키는 조건부 GAN 프레임워크를 설계하였다.
• 생성기와 일반 분류기의 훈련을 통합 최소화 게임의 형태로 통합하는 새로운 손실 함수를 제안하여, 기반 클래스에서 일회성 클래스로 지식 전이가 가능하도록 하였다.
• 판별기는 실제 기반 클래스 이미지와 유사한 일회성 유형의 생성 이미지를 구분하도록 훈련되어 생성기가 더 현실적이고 구분 가능한 샘플을 생성하도록 이끌었다.
• 분류기는 생성기와 함께 통합 목표 함수를 사용하여 공동 최적화되며, 이는 일회성 클래스의 특징 분離도 향상과 결정 경계 개선을 유도한다.
• 사전 훈련된 ResNet-34 특징을 입력으로 사용하고, 제안된 손실 함수를 엔드 투 엔드 미세조정 과정에 적용하여 특징의 구분 능력을 향상시켰다.

실험 결과

연구 질문

• RQ1 외부 데이터 증강 없이도 생성적 데이터 증강이 일회성 얼굴 인식 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 GAN을 어떻게 훈련시켜 기반 클래스의 시각적 변동성을 반영하면서도 의미 있는, 클래스별로 특화된 얼굴 샘플을 합성할 수 있는가?
• RQ3 생성기와 분류기를 함께 최적화하는 것이 낮은 샘플 수를 가진 클래스의 일반화 성능 향상에 기여하면서도 잘 표현된 클래스의 성능를 유지하는가?
• RQ4 제안된 방법이 일회성 신원의 특징 공간 커버리지와 결정 경계 추정에 얼마나 기여하는가?
• RQ5 표준 평가 프로토콜 하에서 MS-Celeb-1M과 같은 대규모 벤치마크에서 최신 기술 수준의 성능를 달성할 수 있는가?

주요 결과

• 제안된 모델은 MS-Celeb-1M 벤치마크에서 일회성 클래스에 대해 99% 정밀도에서 94.98%의 커버리지 성능를 달성하여 이전 방법들을 크게 능가한다.
• 기반 클래스의 Top-1 정확도는 99.80%를 유지하여 잘 표현된 신원의 성능가 유지됨을 입증한다.
• 최적화 후 일회성 분류 정확도가 77.01%에서 96.82%로 향상되어 낮은 샘플 수를 가진 신원의 특징 공간 확장이 효과적으로 이루어졌음을 시사한다.
• 일회성 클래스의 분류기 가중치 벡터의 노름이 기반 클래스 가중치 분포로 수렴함을 관찰하여 모델의 신뢰도 향상과 일반화 능력 향상을 시사한다.
• 저해상도, 스케치, 가림된 얼굴과 같은 어려운 케이스에서 k-NN 및 Softmax보다도 뛰어난 성능를 보이며, 시각적 변동성에 대한 강건성을 확인한다.