[논문 리뷰] GroupFace: Learning Latent Groups and Constructing Group-based Representations for Face Recognition

Yonghyun Kim, Wonpyo Park외 2명|arXiv (Cornell University)|2020. 05. 21.

Face recognition and analysis참고 문헌 46인용 수 10

한 줄 요약

GroupFace는 얼굴 특징에서 잠재적 그룹을 학습하고 임bedding 공간에 그룹 인식 표현을 통합함으로써 특징 품질을 향상시키는 새로운 얼굴 인식 아키텍처를 제안한다. 자기 분포 그룹화 메커니즘과 하드 엔sembling 구조를 사용함으로써, 최소한의 계산 부담으로도 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In the field of face recognition, a model learns to distinguish millions of face images with fewer dimensional embedding features, and such vast information may not be properly encoded in the conventional model with a single branch. We propose a novel face-recognition-specialized architecture called GroupFace that utilizes multiple group-aware representations, simultaneously, to improve the quality of the embedding feature. The proposed method provides self-distributed labels that balance the number of samples belonging to each group without additional human annotations, and learns the group-aware representations that can narrow down the search space of the target identity. We prove the effectiveness of the proposed method by showing extensive ablation studies and visualizations. All the components of the proposed method can be trained in an end-to-end manner with a marginal increase of computational complexity. Finally, the proposed method achieves the state-of-the-art results with significant improvements in 1:1 face verification and 1:N face identification tasks on the following public datasets: LFW, YTF, CALFW, CPLFW, CFP, AgeDB-30, MegaFace, IJB-B and IJB-C.

연구 동기 및 목표

• 수백만 명의 신원을 수동 레이블링에 의존하지 않고도 압축되고 일반화 가능한 임bedding 공간에 표현하는 데 도전한다.
• 얼굴 특성 및 비얼굴 조건과 같은 잠재적 요인에서 파생된 그룹 수준의 의미를 활용하여 얼굴 인식의 특징 표현 품질을 향상시킨다.
• 사람이 레이블링하지 않은 그룹 레이블을 기반으로 하여 샘플 분포를 균형 잡히게 하는 자기 분포 레이블링 메커니즘을 개발한다.
• 개별 인스턴스 기반 특징과 그룹 인식 표현을 종합적으로 통합하여 엔드 투 엔드로 학습 가능한 방식으로 정확도를 향상시킨다.
• 1:1 및 1:N 얼굴 인식 작업에서 성능을 크게 향상시키면서도 계산 부담을 최소화하여 실용적 구현을 가능하게 한다.

제안 방법

• 공통된 얼굴 및 비얼굴 특징을 바탕으로 각 얼굴 이미지를 다수의 잠재 그룹에 할당할 수 있도록 학습하는 그룹 인식 표현 네트워크(GDN)를 도입한다.
• 다양한 클러스터링 접근 방식을 사용하여 그룹 간 균형 잡힌 분포를 최적화함으로써 동적으로 그룹 레이블을 할당하는 자기 분포 그룹화 메커니즘을 제안한다.
• 적응형 컨볼루션 레이어를 통해 개별 인스턴스 기반 특징과 그룹 인식 특징을 융합하는 하드 엔셈블 구조를 설계하여 효율적인 엔드 투 엔드 학습을 가능하게 한다.
• 개별 인스턴스 기반 표현과 그룹 기반 표현을 통합하는 새로운 유사도 메트릭을 개발하여 매칭 정확도를 향상시킨다.
• 기존의 얼굴 인식 손실 함수(예: ArcFace)를 사용하여 전체 아키텍처를 엔드 투 엔드로 학습하고, 그룹 수준의 예측에 추가로 감독 신호를 제공한다.
• t-SNE 시각화를 통해 특징 공간과 그룹 활성화 패턴을 분석하여, 클래스 간 분리도 향상과 의미 있는 그룹 의미론이 확인된다.

실험 결과

연구 질문

• RQ1 수동 레이블링이 없는 조건에서 자기 분포 잠재 그룹이 임베딩 특징의 일반화 능력과 분류 능력을 향상시킬 수 있는가?
• RQ2 개별 인스턴스 기반 특징과 그룹 인식 표현을 융합했을 때, 1:1 검증 및 1:N 식별 작업에서 성능에 어떤 영향을 미치는가?
• RQ3 약한 감독 방식으로 학습된 잠재 그룹이 성별, 수염, 탈모 등과 같은 의미 있는 시각적 의미론을 어느 정도 잘 포착하는가?
• RQ4 기존의 최신 기술 수준(SOTA) 모델 대비 계산 비용 증가 폭이 미미한 조건에서 본 방법이 최신 기술 수준 성능을 달성할 수 있는가?
• RQ5 IJB-C 및 IJB-B에서 낮은 FAR(예: 1e-6) 조건에서도 그룹과 개별 인스턴스 표현의 융합이 특징의 분류 능력을 어떻게 향상시키는가?

주요 결과

• GroupFace는 LFW, YTF, CALFW, CPLFW, CFP, AgeDB-30, MegaFace, IJB-B, IJB-C에서 최신 기술 수준 성능을 달성하며, ArcFace 대비 뚜렷한 향상을 보였다.
• IJB-C에서 GroupFace는 FAR=1e-5일 때 TAR을 1.2%p 향상시키고, FAR=1e-4일 때는 0.4%p 향상되었으며, IJB-B에서 TAR@FAR=1e-6일 때는 5.3%p 향상되었다.
• 하드 엔셈블 버전의 GroupFace는 추가로 몇 개의 컨볼루션 레이어만 추가로 사용하여도 높은 정확도를 달성하여 계산 부담이 매우 낮음을 보였다.
• 시각화 결과, GroupFace는 기준 모델인 ArcFace에 비해 t-SNE 공간에서 더 명확하고 잘 분리된 특징 표현을 생성하는 것으로 나타났다.
• 그룹 활성화 분석 결과, 32개 그룹 중 12개 그룹이 주로 활성화되었고, 단일 지배 그룹이 존재하지 않아 균형 잡힌 의미 있는 그룹 분포임을 확인했다.
• 그룹 해석 결과, 일부 그룹(예: 그룹 5: 남성, 그룹 20: 탈모 남성)은 명확한 시각적 의미론을 포착한 반면, 다른 그룹은 다중 모드 기술(예: 미소 짓는 여성, 놀란 사람)을 나타내었다.