[논문 리뷰] Learning a Metric Embedding for Face Recognition using the Multibatch Method

Oren Tadmor, Yonatan Wexler외 3명|arXiv (Cornell University)|2016. 05. 23.

Face recognition and analysis인용 수 25

한 줄 요약

이 논문은 얼굴 인식에서 깊이 있는 메트릭 임베딩 네트워크를 훈련시키기 위한 새로운 확률적 경사도 추정 기법인 Multibatch 방법을 제안한다. 크기가 k인 미니배치 내의 모든 쌍 조합을 기반으로 기울기를 계산함으로써, 기울기 분산을 O(1/k²)로 감소시켜 수렴 속도를 높이며, 단일 GPU에서 12시간의 훈련만으로 LFW에서 98.2%의 정확도를 달성하고, ARM Cortex A9 코어에서 추론 시간은 30ms이다.

ABSTRACT

This work is motivated by the engineering task of achieving a near state-of-the-art face recognition on a minimal computing budget running on an embedded system. Our main technical contribution centers around a novel training method, called Multibatch, for similarity learning, i.e., for the task of generating an invariant "face signature" through training pairs of "same" and "not-same" face images. The Multibatch method first generates signatures for a mini-batch of $k$ face images and then constructs an unbiased estimate of the full gradient by relying on all $k^2-k$ pairs from the mini-batch. We prove that the variance of the Multibatch estimator is bounded by $O(1/k^2)$, under some mild conditions. In contrast, the standard gradient estimator that relies on random $k/2$ pairs has a variance of order $1/k$. The smaller variance of the Multibatch estimator significantly speeds up the convergence rate of stochastic gradient descent. Using the Multibatch method we train a deep convolutional neural network that achieves an accuracy of $98.2\\%$ on the LFW benchmark, while its prediction runtime takes only $30$msec on a single ARM Cortex A9 core. Furthermore, the entire training process took only 12 hours on a single Titan X GPU.

연구 동기 및 목표

• 임베디드 환경에 적합한 저계산량, 고성능의 얼굴 인식 시스템을 개발하는 것.
• 표면적인 분류 작업보다 최적화가 더 어려운 깊이 있는 메트릭 임베딩 네트워크를 훈련시키는 데 도전하는 것.
• 최신 기술 수준의 정확도를 유지하면서 훈련 시간과 계산 비용을 줄이는 것.
• 정렬과 서명 생성을 동시에 최적화할 수 있는 종단간 네트워크를 훈련시켜 강건성과 효율성을 향상시키는 것.
• 직접적인 메트릭 학습이 저분산 기울기 추정기와 결합될 경우 실현 가능하고 효과적임을 입증하는 것.

제안 방법

• Multibatch 방법은 랜덤 부분집합 대신 크기가 k인 미니배치 내의 k² - k개의 모든 쌍을 사용하여 기울기를 계산함으로써 더 정확한 기울기 추정을 수행한다.
• 이 방법은 기울기 추정기의 분산이 O(1/k²)로 제한됨을 증명하며, 표준 랜덤 쌍 샘플링의 O(1/k)보다 훨씬 낮은 분산을 확보한다.
• 이 방법은 네트워크 아키텍처에 얼굴 정렬 기능을 통합하여, 소형 4.8M FLOP 네트워크를 통해 왜곡 파rameter를 종단간 최적화할 수 있도록 한다.
• 주요 임베딩 네트워크는 NIN 블록과 완전 연결층을 포함한 깊이 있는 CNN이며, 얼굴 이미지의 128D 서명 벡터를 생성하도록 최적화된다.
• 손실 함수는 선택된 노름 기반으로 동일 클래스 쌍의 거리가 θ - 1 이하, 이질 클래스 쌍의 거리가 θ + 1 이상이 되도록 강제한다.
• 정렬과 임베딩을 포함한 전체 파이프라인은 단일 ARM Cortex A9 코어에서 30ms 실행 시간, 41M FLOPs로 실행되도록 최적화된다.

실험 결과

연구 질문

• RQ1 저분산 기울기 추정기의 도입이 메트릭 학습의 수렴 속도를 상당히 향상시킬 수 있는가?
• RQ2 다중 클래스 분류나 트리플릿 손실과 같은 대체 목표 없이 직접적인 메트릭 임베딩 훈련이 실현 가능하고 효과적인가?
• RQ3 통합된 종단간 정렬 및 임베딩 네트워크가 임베디드 시스템에서 최소한의 추론 비용으로 높은 정확도를 달성할 수 있는가?
• RQ4 직접적인 메트릭 학습 목표를 사용할 경우, 모델 크기, 훈련 시간, 정확도 사이의 상호 교환 관계는 어떠한가?
• RQ5 실제로 표준 확률적 경사도 추정기와 비교했을 때 Multibatch 방법은 분산과 수렴 속도 면에서 어떻게 다른가?

주요 결과

• Multibatch 방법은 표준 추정기의 O(1/k)와 비교해 기울기 분산을 O(1/k²)로 감소시켜, 확률적 경사하강법에서 더 빠른 수렴을 이끌어낸다.
• 이 방법을 통해 단일 Titan X GPU에서 12시간의 훈련만으로 LFW 벤치마크에서 98.2%의 정확도를 달성하는 깊이 있는 메트릭 임베딩 네트워크를 훈련시킬 수 있다.
• 최종 모델은 단일 ARM Cortex A9 코어에서 30ms 내로 실행되며, 단지 41M FLOPs만을 소비하여 실시간 임베디드 배포에 적합하다.
• 이 모델은 2014년 기준 최고 성능(DeepFace)을 뛰어넘는 정확도를 달성하면서도 훈련 시간은 1/5000분의 1로 줄이고, 훨씬 적은 파라미터를 사용한다.
• 11B FLOPs의 더 큰 VGG 유사 버전은 98.8%의 정확도를 기록했으며, 이는 성능이 모델 용량이 아닌 훈련 데이터의 노이즈에 의해 제한됨을 시사한다.
• 결과적으로 직접적인 메트릭 학습이 Multibatch 기울기 추정기와 결합될 경우 실현 가능하고 효과적임을 입증하며, 대체 목표의 필요성을 제거한다.