[논문 리뷰] On the Capacity of Face Representation

Sixue Gong, Vishnu Naresh Boddeti외 1명|arXiv (Cornell University)|2017. 09. 29.

Face recognition and analysis참고 문헌 3인용 수 13

한 줄 요약

이 논문은 고차원 공간 내의 다양체로 얼굴 임베딩을 모델링하여 식별자 수의 용량을 추정하기 위한 기하학적 프레임워크를 제안한다. 이는 지식적 불확실성과 데이터적 변동성을 모두 고려한다. 결과적으로 FaceNet과 SphereFace는 각각 1%의 위험 수용률에서 최대 27,000명과 840,000명의 신원을 식별할 수 있으며, 더 엄격한 기준에서는 용량이 급격히 감소함을 확인한다.

ABSTRACT

In this paper we address the following question, given a face representation, how many identities can it resolve? In other words, what is the capacity of the face representation? A scientific basis for estimating the capacity of a given face representation will not only benefit the evaluation and comparison of different representation methods, but will also establish an upper bound on the scalability of an automatic face recognition system. We cast the face capacity problem in terms of packing bounds on a low-dimensional manifold embedded within a deep representation space. By explicitly accounting for the manifold structure of the representation as well two different sources of representational noise: epistemic (model) uncertainty and aleatoric (data) variability, our approach is able to estimate the capacity of a given face representation. To demonstrate the efficacy of our approach, we estimate the capacity of two deep neural network based face representations, namely 128-dimensional FaceNet and 512-dimensional SphereFace. Numerical experiments on unconstrained faces (IJB-C) provides a capacity upper bound of $2.7 imes10^4$ for FaceNet and $8.4 imes10^4$ for SphereFace representation at a false acceptance rate (FAR) of 1%. As expected, capacity reduces drastically at lower FARs. The capacity at FAR of 0.1% and 0.001% is $2.2 imes10^3$ and $1.6 imes10^{1}$, respectively for FaceNet and $3.6 imes10^3$ and $6.0 imes10^0$, respectively for SphereFace.

연구 동기 및 목표

• 실험적 평가에 의존하지 않고도 얼굴 표현이 식별할 수 있는 최대 신원 수를 과학적이고 분석적으로 추정하는 방법을 확립하기 위해.
• 자동 얼굴 인식 시스템의 확장성 한계를 이론적 상한선으로 정의함으로써 해결하기 위해.
• 모델 불확실성과 데이터 변동성을 모두 포함하여 고차원 공간에 임bed된 저차원 다양체로 얼굴 표현 공간을 모델링하기 위해.
• 자료에 종속되지 않는 메트릭을 제공하여 다양한 얼굴 표현 방법의 내재적 용량을 비교하기 위해.
• 비구속 데이터셋에서 최신의 딥 레이어 얼굴 임베딩인 FaceNet과 SphereFace를 활용하여 프레임워크의 유효성을 입증하기 위해.

제안 방법

• 고차원 공간 내에서 전반적 얼굴 표현 공간과 클래스별 임베딩을 다변수 정규분포를 가정한 초타원체로 모델링한다.
• 지식적 불확실성(모델 한계)과 데이터 수준의 차이(얼굴 외관 및 자세의 다양성)로 인한 두 가지 노이즈 원천을 고려한다.
• 용량을 인구 초타원체 부피를 클래스별 초타원체 부피로 나눈 비율로 추정하며, 원하는 위험 수용률(FAR)에 따라 조정한다.
• IJB-C 데이터셋을 대상으로 수치적 추정을 수행하여 초구형, 축에 수직인 초타원체, 일반 초타원체 등의 다양체 형태 가정 하에 용량 한계를 계산한다.
• 11,000명의 소규모 대표 샘플을 사용하여 인구 수준의 불확실성을 추정하기 위해 단순화된 다양체 지지 모델을 적용한다.
• 기하학적 가정 간 용량 추정치를 비교하여 비대칭 초타원체가 등방성 또는 축에 수직인 근사보다 훨씬 높은 용량을 제공함을 보여주며 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 주어진 얼굴 표현이 특정 위험 수용률에서 식별할 수 있는 최대 신원 수의 이론적 상한선은 무엇인가?
• RQ2 지식적 불확실성과 데이터적 변동성은 고차원 임베딩 공간 내 얼굴 표현의 용량에 어떤 영향을 미치는가?
• RQ3 임베딩 다양체의 기하학적 구조 — 특히 형태와 부피 — 는 얼굴 인식 시스템의 확장성에 어떻게 영향을 미치는가?
• RQ4 예를 들어 초구형과 초타원체 간의 다양한 다양체 형태 가정이 용량 추정치에 어떤 영향을 미치는가?
• RQ5 FaceNet과 SphereFace와 같은 최신 딥 레이어 얼굴 표현의 용량은 점점 더 엄격한 위험 수용률 제약 조건 하에서 어떻게 변화하는가?

주요 결과

• 1% 위험 수용률에서 IJB-C 데이터셋 기준으로 FaceNet의 이론적 용량 상한선은 약 2.7 × 10⁴명의 신원이다.
• SphereFace는 동일한 FAR에서 8.4 × 10⁴명의 신원을 식별할 수 있는 뚜렷이 높은 용량 추정치를 기록하여 비구속 조건에서 뛰어난 분류 성능을 가짐을 시사한다.
• 0.1% FAR로 더 엄격한 조건이 되자 FaceNet의 용량은 2.2 × 10³명으로 감소하고, SphereFace의 용량은 3.6 × 10³명으로 줄어든다.
• 0.001% FAR일 경우 FaceNet의 용량은 1.6 × 10¹명으로 추가로 감소하고, SphereFace의 용량은 6.0 × 10⁰명으로 급격히 감소하여 명백한 확장성 한계를 드러낸다.
• 비대칭 초타원체(일반 형태)의 용량 추정치는 등방성 또는 축에 수직인 초타원체보다 약 두 개의 지수 차이로 훨씬 높으며, 형태의 비대칭성을 모델링하는 것이 중요함을 입증한다.
• 이론적 용량과 실증 성능 사이에 뚜렷한 격차가 존재함을 확인하여 현재의 얼굴 표현 모델에 향후 개선 여지가 있음을 시사한다.