[논문 리뷰] BroadFace: Looking at Tens of Thousands of People at Once for Face Recognition

Yonghyun Kim, Wonpyo Park외 1명|arXiv (Cornell University)|2020. 08. 15.

Face recognition and analysis참고 문헌 52인용 수 7

한 줄 요약

BroadFace는 훈련 중에 과거 임bedding 벡터의 큰 큐를 동적으로 참조함으로써 분류기 최적화를 향상시켜 수만 개의 개체에 걸쳐 전역 최적화를 가능하게 하는 새로운 훈련 방법을 제안한다. 큐 내의 임베딩 오차를 보완하기 위한 보정 메커니즘을 도입함으로써 BroadFace는 유의미한 추론 오버헤드 없이 9개의 데이터셋에서 최신 기술 수준(SOTA)의 정확도를 달성하며, 수렴 속도를 크게 향상시키고 다양한 백본 네트워크 및 손실 함수에 걸쳐 일반화 성능을 향상시킨다.

ABSTRACT

The datasets of face recognition contain an enormous number of identities and instances. However, conventional methods have difficulty in reflecting the entire distribution of the datasets because a mini-batch of small size contains only a small portion of all identities. To overcome this difficulty, we propose a novel method called BroadFace, which is a learning process to consider a massive set of identities, comprehensively. In BroadFace, a linear classifier learns optimal decision boundaries among identities from a large number of embedding vectors accumulated over past iterations. By referring more instances at once, the optimality of the classifier is naturally increased on the entire datasets. Thus, the encoder is also globally optimized by referring the weight matrix of the classifier. Moreover, we propose a novel compensation method to increase the number of referenced instances in the training stage. BroadFace can be easily applied on many existing methods to accelerate a learning process and obtain a significant improvement in accuracy without extra computational burden at inference stage. We perform extensive ablation studies and experiments on various datasets to show the effectiveness of BroadFace, and also empirically prove the validity of our compensation method. BroadFace achieves the state-of-the-art results with significant improvements on nine datasets in 1:1 face verification and 1:N face identification tasks, and is also effective in image retrieval.

연구 동기 및 목표

• 작은 배치 크기로 인해 수만 개의 개체 분포를 충분히 반영하지 못하는 얼굴 인식에서의 미니배치 훈련의 한계를 해결하기 위해.
• 분류기 최적화에 과거의 많은 임베딩을 통합함으로써 임베딩 공간 내의 결정 경계 최적화를 향상시키기 위해.
• 추론 시 계산 비용을 증가시키지 않고 모델 수렴 속도를 가속화하고 인식 정확도를 향상시키기 위해.
• 다양한 백본 네트워크 및 손실 함수에 적용 가능한 일반화 가능한 방법을 개발하기 위해.

제안 방법

• BroadFace는 이전 훈련 반복에서 생성된 임베딩 벡터를 저장하는 대규모 고정 크기의 큐를 유지하여 분류기가 다양한 개체의 분포를 참조할 수 있도록 한다.
• 선형 분류기는 현재 미니배치와 큐에 축적된 임베딩을 모두 사용하여 업데이트되며, 이는 결정 경계의 전역적 표현력을 높인다.
• 현재와 과거의 정체성 대표 벡터 간의 오차를 줄이기 위해, 반복 간 가중치의 차이를 모델링함으로써 보정 메커니즘이 도입된다.
• 에코더는 분류기의 기울기를 통해 역전파를 통해 함께 최적화되며, 이는 현재 및 이력 임베딩에 기반한 훈련을 가능하게 한다.
• 이 방법은 ArcFace 및 CosFace와 같은 표준 손실 함수와 호환되며, MobileFaceNet, ResNet-18, ResNet-100과 같은 다양한 백본 아키텍처에 적용할 수 있다.
• 큐의 크기 외에 다른 하이퍼파라미터가 없어, 다양한 훈련 설정에서 쉽게 튜닝하고 구현할 수 있다.

실험 결과

연구 질문

• RQ1 현재의 미니배치 외에 과거의 대규모 임베딩 세트를 사용하여 결정 경계를 최적화함으로써 얼굴 인식 모델이 더 나은 일반화 성능을 달성할 수 있는가?
• RQ2 과거 임베딩의 큐를 동적으로 유지하고 업데이트할 경우, 얼굴 인식 모델의 수렴 속도와 최종 정확도에 어떤 영향을 미치는가?
• RQ3 큐 내의 임베딩 오차가 누적될 경우 그 영향은 무엇이며, 훈련 중에 효과적으로 보정할 수 있는가?
• RQ4 BroadFace는 추론 비용을 증가시키지 않고 다양한 백본 네트워크 및 손실 함수에서 성능 향상을 어느 정도 달성할 수 있는가?
• RQ5 큐 크기를 크게 증가시켜도 제안된 보정 메커니즘이 성능 저하를 방지하는가?

주요 결과

• BroadFace는 1:1 검증 및 1:N 식별 작업 모두에서 9개의 얼굴 인식 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며 기존 방법을 능가한다.
• 큐 크기가 32,768일 때, IJB-B 데이터셋에서 FAR=1e-6일 때 TAR가 0.4653에 도달하여 기준 ArcFace(0.3828)보다 뚜렷이 뛰어나다.
• 보정 방법 덕분에 큐 크기가 커져도 정확도 저하가 방지되어 큐가 16,000개를 초과해도 높은 재현율을 유지한다.
• BroadFace는 학습 속도를 가속화한다: 이미지 검색 작업에서 최고 성능에 도달하는 데 10번째 에포크에 도달하는 데 반해, 기준 ArcFace는 45번째 에포크에 도달한다.
• ResNet-34를 BroadFace로 훈련한 결과, ArcFace로 훈련한 ResNet-100과 유사한 정확도를 달성하여 이 방법의 효율성과 효과성을 입증한다.
• 이 방법은 보편적으로 적용 가능하다: 추론 비용을 추가로 들지 않고 MobileFaceNet, ResNet-18, ResNet-34, ResNet-100에서 모두 성능 향상을 이룬다.