[논문 리뷰] Towards Universal Representation Learning for Deep Face Recognition

Yichun Shi, Yu Xiang외 3명|arXiv (Cornell University)|2020. 02. 26.

Face recognition and analysis참고 문헌 41인용 수 14

한 줄 요약

이 논문은 타겟 도메인 데이터가 필요 없이 극한의 변형—예를 들어 블러, 가림, 자세 변화—에 일반화하는 데 성능을 향상시키는 통합된 딥 패스트 대표 표현 학습 프레임워크를 제안한다. 특징을 신뢰도 인식 기반의 부분 임베딩으로 분할하고, 변형 분류 손실과 적대적 손실을 적용하여 상관관계를 해소함으로써, IJB-S와 TinyFace와 같은 도전적인 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하면서도 LFW와 MegaFace와 같은 표준 데이터셋에서도 뛰어난 성능을 유지한다.

ABSTRACT

Recognizing wild faces is extremely hard as they appear with all kinds of variations. Traditional methods either train with specifically annotated variation data from target domains, or by introducing unlabeled target variation data to adapt from the training data. Instead, we propose a universal representation learning framework that can deal with larger variation unseen in the given training data without leveraging target domain knowledge. We firstly synthesize training data alongside some semantically meaningful variations, such as low resolution, occlusion and head pose. However, directly feeding the augmented data for training will not converge well as the newly introduced samples are mostly hard examples. We propose to split the feature embedding into multiple sub-embeddings, and associate different confidence values for each sub-embedding to smooth the training procedure. The sub-embeddings are further decorrelated by regularizing variation classification loss and variation adversarial loss on different partitions of them. Experiments show that our method achieves top performance on general face recognition datasets such as LFW and MegaFace, while significantly better on extreme benchmarks such as TinyFace and IJB-S.

연구 동기 및 목표

• 타겟 도메인 데이터에 의존하지 않고도 새로운 변형에 일반화할 수 있는 통합된 얼굴 대표 표현을 개발하는 것.
• 데이터 증강 과정에서 어려운 증강 샘플(예: 블러, 가림, 자세 변화)로 인한 학습 불안정성을 해결하는 것.
• 각각의 신뢰도 값을 갖는 부분 임베딩으로 임베딩을 분해함으로써 특징의 구분 능력과 강건성을 향상시키는 것.
• 변형 분류 및 적대적 손실을 활용해 부분 임베딩 간의 상관관계를 해소함으로써 표현 능력을 향상시키는 것.
• 부정확도 점수에 기반해 부분 임베딩을 확률적으로 통합함으로써 효과적인 추론을 가능하게 하는 것.

제안 방법

• 딥 특징 임베딩을 여러 부분 임베딩으로 분할하며, 각 부분 임베딩은 샘플 및 부분 임베딩 전용의 신뢰도 값을 갖도록 설정하여 어려운 증강 샘플에서의 학습 안정성을 확보한다.
• 각 샘플 및 부분 임베딩의 불확실성에 기반해 학습 동역학을 조정하는 신뢰도 인식 기반 식별 손실을 도입한다.
• 변형 분류 손실을 적용하여 부분 임베딩이 특정 변형(예: 자세, 블러)을 예측하도록 유도함으로써 분리 성질을 증진시킨다.
• 특정 변형 요인에 대해 불변성을 확보하기 위해 부분 임베딩 간의 상관관계를 추가로 해소하기 위해 변형 적대적 손실을 사용한다.
• 추론 단계에서는 부분 임베딩의 불확실도 점수에 따라 가중치를 적용하는 확률적 통합 전략을 사용하여 강건성을 향상시킨다.
• MS-Celeb-1M에 대해 합성 데이터 증강을 적용하여 저해상도, 가림, 머리 자세와 같은 명시적 변형을 도입한다.

실험 결과

연구 질문

• RQ1 하나의 딥 패스트 모델이 타겟 도메인 데이터 없이도 다양한 미리 보지 않은 변형에 대해 강력한 일반화 성능을 달성할 수 있는가?
• RQ2 어려운 증강 샘플(예: 가림되거나 해상도가 낮은 얼굴)로 인한 학습 불안정성 문제는 어떻게 완화할 수 있는가?
• RQ3 부분 임베딩 분해와 상관관계 해소가 극한의 변형에 대해 얼마나 강건성을 향상시킬 수 있는가?
• RQ4 부분 임베딩의 부정확도 인식 기반 통합 전략이 저품질 또는 분포 외 얼굴 이미지에서 성능 향상에 얼마나 기여하는가?
• RQ5 IJB-S와 TinyFace와 같은 표준 및 극한 벤치마크에서 모두 우수한 성능을 내는 통합 표현을 학습할 수 있는가?

주요 결과

• 제안된 방법은 IJB-S 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 1위 정확도 63.89%와 5위 정확도 68.67%를 기록하여 이전 방법들인 ArcFace(47.39% 및 52.28%)와 [3](44.80% 및 60.40%)를 크게 앞서 갔다.
• IJB-C 벤치마크에서는 모든 프로토콜에서 최신 기술 수준(SOTA) 방법들조차도 피팅 튜닝 없이도 슈퍼리어 성능를 달성하였다.
• IJB-A에서 제안된 방법은 피팅 튜닝 없이도 최상의 성능를 기록하였으며, 새로운 변형에 대한 강력한 일반화 능력을 입증하였다.
• LFW와 MegaFace와 같은 표준 벤치마크에서도 높은 정확도를 유지하였으며, ArcFace와 유사한 성능를 보여 이론적으로 다양한 데이터 분포에 강건함을 입증하였다.
• 절단 실험 결과, 부정확도 인식 학습, 부분 임베딩의 상관관계 해소, 불확실도 통합의 조합이 극한의 벤치마크에서 성능 향상에 필수적임을 확인하였다.
• 히트맵 시각화 결과, 부분 임베딩의 불확실도가 저품질 또는 도전적인 이미지(예: 가림되거나 큰 자세 변화가 있는 얼굴)에서 증가하는 것으로 나타나, 모델이 신뢰도에 따라 특징를 적응적으로 가중할 수 있음을 확인하였다.