[논문 리뷰] Learning Meta Face Recognition in Unseen Domains

Jianzhu Guo, Xiangyu Zhu외 4명|arXiv (Cornell University)|2020. 03. 17.

Face recognition and analysis참고 문헌 48인용 수 7

한 줄 요약

이 논문은 미세조정 없이도 새로운 도메인으로 일반화할 수 있도록 하는 메타학습 프레임워크인 메타 얼굴 인식(MFR)을 제안한다. 합성된 소스 도메인과 타겟 도메인을 사용하여 도메인 수준의 샘플링을 통해 도메인 이동을 시뮬레이션함으로써, MFR는 하드페어 어텐션, 소프트분류, 도메인 정렬 손실을 통해 이식 가능한 도메인 불변 표현을 학습한다. 이는 새로 정의된 벤치마크에서 최신 기술 수준의 일반화 성능을 달성한다.

ABSTRACT

Face recognition systems are usually faced with unseen domains in real-world applications and show unsatisfactory performance due to their poor generalization. For example, a well-trained model on webface data cannot deal with the ID vs. Spot task in surveillance scenario. In this paper, we aim to learn a generalized model that can directly handle new unseen domains without any model updating. To this end, we propose a novel face recognition method via meta-learning named Meta Face Recognition (MFR). MFR synthesizes the source/target domain shift with a meta-optimization objective, which requires the model to learn effective representations not only on synthesized source domains but also on synthesized target domains. Specifically, we build domain-shift batches through a domain-level sampling strategy and get back-propagated gradients/meta-gradients on synthesized source/target domains by optimizing multi-domain distributions. The gradients and meta-gradients are further combined to update the model to improve generalization. Besides, we propose two benchmarks for generalized face recognition evaluation. Experiments on our benchmarks validate the generalization of our method compared to several baselines and other state-of-the-arts. The proposed benchmarks will be available at https://github.com/cleardusk/MFR.

연구 동기 및 목표

• 목표 도메인이 알려져 있지 않으며 훈련 데이터와 분포가 다를 수 있는 실세계 시나리오에서 얼굴 인식 모델을 구현하는 데 도전하는 것.
• 기존 연구에서 다루지 않은 개방세트, 대규모 카테고리가 포함된 도메인 일반화 작업으로서 일반화된 얼굴 인식 문제를 정형화하는 것.
• 모델이 어떤 미세조정이나 적응 없이도 새로운 도메인으로 일반화할 수 있도록 하는 메타학습 프레임워크를 개발하는 것.
• 다양한 새로운 도메인에서 일반화된 얼굴 인식 성능을 평가하기 위해 특별히 설계된 두 가지 새로운 벤치마크(GFR-R I에서 IV까지)를 제작하는 것.

제안 방법

• 훈련 중에 소스 도메인을 메타학습 및 메타테스트 세트로 그룹화하여 도메인 수준의 샘플링 전략을 제안함으로써 메타학습 및 메타테스트 도메인을 시뮬레이션한다.
• 메타학습 및 메타테스트 도메인 양쪽에서 성능을 동시에 최적화할 수 있도록 메타최적화 목표를 도입함으로써 일반화 성능을 향상시킨다.
• 세 가지 핵심 손실을 조합한다: 하드페어 어텐션 손실(국소적 특징 구분을 위한), 소프트분류 손실(전체 배치 수준의 관계를 위한), 도메인 정렬 손실(도메인 중심을 정렬하여 도메인 이동을 줄이기 위한).
• 메타학습 도메인에서의 기울기와 메타테스트 도메인에서의 메타기울기를 계산한 후, 모델 파라미터를 업데이트하기 위해 메타최적화를 통해 이를 집계한다.
• 고차원 계산에 비해 성능을 거의 그대로 유지하면서 계산 비용을 줄이기 위해 메타기울기의 일차 근사(approximation)를 사용한다.
• 메타학습 및 메타테스트 손실 기여도를 조절하기 위한 하이퍼파rameter γ를 도입하였으며, 분석 결과 γ=0.5일 때 최적의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 기존 소스 도메인에서 훈련된 얼굴 인식 모델이 완전히 새로운 타겟 도메인으로 미세조정 없이 효과적으로 일반화할 수 있는가?
• RQ2 메타학습은 다양한 새로운 얼굴 인식 도메인(예: 연령 간 차이, NIR-VIS, 큰 자세, 가림 등)에서 이식 가능한 표현을 학습하는 데 얼마나 효과적인가?
• RQ3 제안된 MFR 프레임워크의 구성 요소 중에서 하드페어 어텐션, 소프트분류, 도메인 정렬, 또는 메타기울기 중 어떤 것이 일반화 성능 향상에 가장 기여하는가?
• RQ4 도메인 수준의 샘플링 전략과 하이퍼파rameter γ의 선택이 새로운 도메인에서의 모델 일반화에 어떤 영향을 미치는가?
• RQ5 메타기울기의 일차 근사는 성능을 유지하면서 계산 비용을 줄이는 데 얼마나 효과적인가?

주요 결과

• 전체 MFR 모델은 GFR-R I(인디안) 벤치마크에서 95.4%의 인증률(VR)과 86.1%의 랭크-1 정확도를 달성하여, 약화된 변형 및 기준 모델들을 모두 능가한다.
• 메타기울기 구성 요소를 제거하면 성능에 심각한 하락이 발생한다. 예를 들어, GFR-R I에서 FAR=0.01%일 때 71.4%에서 68.35%로 떨어지며, 이는 일반화에 있어 그 역할이 핵심적임을 보여준다.
• 메타기울기의 일차 근사는 고차원 계산 버전과 비교해 성능 차이가 0.5% 이내로 유지되면서도 훈련 시간의 63%와 GPU 메모리의 82%만을 사용한다.
• m=2개의 메타학습 도메인과 n=1개의 메타테스트 도메인을 사용한 도메인 수준의 샘플링 전략이 가장 높은 성능을 보였으며, 무작위 샘플링이나 1:1 분할 전략보다 뛰어나다.
• 하이퍼파rameter γ=0.5는 메타학습 및 메타테스트 손실 기여도 간 최적의 균형을 이룹니다. 이 값 이외의 경우 성능이 저하된다.
• 제안된 벤치마크(GFR-R I에서 IV까지)는 https://github.com/cleardusk/MFR 에 공개되어 있어 일반화된 얼굴 인식 방법의 표준화된 평가를 가능하게 한다.