[논문 리뷰] MultiFace: A Generic Training Mechanism for Boosting Face Recognition Performance

Jing Xu, Tszhang Guo외 3명|arXiv (Cornell University)|2021. 01. 25.

Face recognition and analysis참고 문헌 27인용 수 4

한 줄 요약

이 논문은 다중차원 특징을 저차원 부분공간의 앙상블을 통해 근사화함으로써 얼굴 인식 성능을 향상시키는 일반적인 훈련 기법인 MultiFace를 제안한다. 이러한 부분공간들 간의 공동 감독을 적용함으로써 수렴 속도가 가속되며(소프트맥스 사용 시 2–3배, Arcface/Cosface 사용 시 1.2–1.5배), 정확도가 향상되어 IJB-B/C 및 MegaFace에서 최신 기준 성능을 달성한다. 이는 내부 클래스의 밀도 향상과 외부 클래스의 분리도 향상됨에 따라 달성된다.

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) and their variants have been widely used in large scale face recognition(FR) recently. Existing methods have achieved good performance on many FR benchmarks. However, most of them suffer from two major problems. First, these methods converge quite slowly since they optimize the loss functions in a high-dimensional and sparse Gaussian Sphere. Second, the high dimensionality of features, despite the powerful descriptive ability, brings difficulty to the optimization, which may lead to a sub-optimal local optimum. To address these problems, we propose a simple yet efficient training mechanism called MultiFace, where we approximate the original high-dimensional features by the ensemble of low-dimensional features. The proposed mechanism is also generic and can be easily applied to many advanced FR models. Moreover, it brings the benefits of good interpretability to FR models via the clustering effect. In detail, the ensemble of these low-dimensional features can capture complementary yet discriminative information, which can increase the intra-class compactness and inter-class separability. Experimental results show that the proposed mechanism can accelerate 2-3 times with the softmax loss and 1.2-1.5 times with Arcface or Cosface, while achieving state-of-the-art performances in several benchmark datasets. Especially, the significant improvements on large-scale datasets(e.g., IJB and MageFace) demonstrate the flexibility of our new training mechanism.

연구 동기 및 목표

• 딥 얼굴 인식에서 흔히 나타나는 고차원 특징 공간에서의 느린 수렴과 최적화의 비효율성 문제를 해결한다.
• 표현 능력(고차원)과 최적화 난이도(고차원성) 사이의 상충 관계를 극복한다.
• 백본 아키텍처나 손실 함수를 수정하지 않고도 내부 클래스의 밀도 향상과 외부 클래스의 분리도 향상을 달성한다.
• 다양한 얼굴 인식 모델과 손실 함수에 적용 가능한 일반적이고 즉각 설치 가능한 훈련 기법을 개발한다.
• 저차원 부분특징 앙상블에 의해 유도되는 군집 효과를 통해 모델의 해석 가능성 향상

제안 방법

• 고차원 얼굴 특징 벡터 x ∈ ℝ^d를 N개의 동일한 크기의 부분벡터 x₁, x₂, ..., xₙ으로 분할하며, 각 부분벡터의 차원은 d/N이다.
• 훈련 중 각 부분벡터에 별도의 감독 손실을 적용함으로써 모든 N개의 부분공간 간의 공동 최적화를 가능하게 한다.
• 표준 얼굴 인식 손실 함수(예: 소프트맥스, Arcface, Cosface)를 각 부분벡터에 적용하면서 동일한 CNN 백본을 공유한다.
• 추론 시, 모든 부분벡터 그룹 간의 통합 결정 기반으로 특징 벡터 간의 유사도를 계산한다.
• 부분특징 간의 상보성과 분류 능력을 활용하여 특징 분포의 품질을 향상시킨다.
• 모든 CNN 백본과 메트릭 학습 손실 함수와 호환되며 일반적인 방법임을 보장한다.

실험 결과

연구 질문

• RQ1 고차원 특징 공간을 저차원 부분공간 앙상블로 근사화하는 것이 얼굴 인식의 수렴 속도 향상에 기여하는가?
• RQ2 MultiFace 기법이 학습된 특징 표현에서 내부 클래스의 밀도 향상과 외부 클래스의 분리도 향상에 기여하는가?
• RQ3 MultiFace는 특히 IJB-B/C 및 MegaFace와 같은 대규모 데이터셋에서 다양한 벤치마크에서 얼굴 인식 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 부분공간의 수(N)가 모델의 성능 및 일반화 능력에 어떤 영향을 미치는가?
• RQ5 MultiFace 기법은 소프트맥스, Arcface, Cosface 등의 다양한 손실 함수와 백본 아키텍처에 효과적으로 적용될 수 있는가?

주요 결과

• 소프트맥스 손실을 사용할 경우 MultiFace는 저차원 부분공간 내 개선된 최적화 역학 덕분에 훈련 속도를 2–3배로 가속시키며, Arcface 또는 Cosface를 사용할 경우 1.2–1.5배로 가속된다.
• IJB-B 데이터셋에서 Multi-Arcface(N=2)는 원본 Arcface 대비 TAR@FAR=10%에서 0.93% 향상되어 95.13%를 기록한다.
• IJB-C에서 Multi-Arcface는 TAR@FAR=10%를 96.38%로 향상시켜 새로운 최고 성능을 달성한다.
• 개선된 MegaFace1 데이터셋에서 Multi-Cosface는 랭크-1 정확도 98.62%와 TAR 98.85%를 기록하여 원본 Cosface를 능가하며 새로운 기준을 설정한다.
• 동일한 ResNet-100 백본을 사용할 때 Multi-Arcface는 랭크-1 정확도를 98.35%에서 98.44%로, TAR를 98.48%에서 98.72%로 향상시켰다.
• 이 방법은 강력한 일반화 능력을 보이며, LFW, CALFW, CPLFW, IJB-B/C, MegaFace 등에서 일관된 향상으로 최신 기준 성능을 달성한다.