[논문 리뷰] Balanced Alignment for Face Recognition: A Joint Learning Approach

Huawei Wei, Peng Lu외 1명|arXiv (Cornell University)|2020. 03. 23.

Face recognition and analysis참고 문헌 35인용 수 4

한 줄 요약

이 논문은 과도한 정렬이 정확도에 악영향을 미치는 것을 방지하기 위해 정렬 강도를 균형 잡는 얼굴 인식을 위한 통합 학습 프레임워크를 제안한다. 학습 가능한 가변 랜드마크와 미분 가능한 정렬 손실을 사용해 특징 맵에 대해 정렬을 수행함으로써, LFW, YTF 및 MegaFace에서 최신 기술 수준의 성능을 달성하였으며, 특히 큰 자세 변화가 있는 경우에 뛰어난 성능을 보였다.

ABSTRACT

Face alignment is crucial for face recognition and has been widely adopted. However, current practice is too simple and under-explored. There lacks an understanding of how important face alignment is and how it should be performed, for recognition. This work studies these problems and makes two contributions. First, it provides an in-depth and quantitative study of how alignment strength affects recognition accuracy. Our results show that excessive alignment is harmful and an optimal balanced point of alignment is in need. To strike the balance, our second contribution is a novel joint learning approach where alignment learning is controllable with respect to its strength and driven by recognition. Our proposed method is validated by comprehensive experiments on several benchmarks, especially the challenging ones with large pose.

연구 동기 및 목표

• 정렬 강도가 얼굴 인식 정확도에 미치는 정량적 영향을 조사하기 위해.
• 현재의 얼굴 정렬 방법이 수작업으로 설계되거나 비지도 학습 방식이기 때문에 이해 부족과 제어 불가능성 문제를 해결하기 위해.
• 과도한 정렬을 방지하고 정체성과 관련된 특징을 유지하는 제어 가능한, 인식 중심의 정렬 메커니즘을 개발하기 위해.
• 인식과 정렬을 함께 최적화하여, 큰 자세 변화가 있는 과도한 벤치마크에서의 성능 향상을 위해.

제안 방법

• 정점 변형을 명시적으로 감독하는 새로운 정렬 손실을 도입하여, 손실 비율 조정을 통해 정렬 강도를 제어할 수 있도록 한다.
• 원본 입력 이미지가 아닌 특징 맵에 공간 변환을 수행함으로써, 인식에 핵심적인 세밀한 얼굴 특징을 유지한다.
• 가변 랜드마크 가중치를 가진 변형 가능한 템플릿을 학습함으로써, 인식에 최적화된 랜드마크 위치를 네트워크가 자율적으로 발견할 수 있도록 한다.
• 고정된 수작업 설계된 템플릿에 의존하지 않고, 데이터로부터 자동으로 템플릿을 학습한다.
• 공간 변환 네트워크(STN)를 개선하여 엔드 투 엔드로 인식 중심의 학습을 수행함으로써, 정렬과 인식을 함께 최적화한다.
• 특징 맵에 대해 미분 가능한 왜곡 연산을 사용하여 기하학적 변형을 정렬하면서도 정체성 불변 특징을 유지한다.

실험 결과

연구 질문

• RQ1 얼굴 정렬의 강도가 인식 정확도에 미치는 영향은 어떠하며, 최적의 균형점이 존재하는가?
• RQ2 정렬을 고정 템플릿이나 비지도 목표가 아닌, 인식 성능에 의해 유도되고 제어 가능한 방식으로 만들 수 있는가?
• RQ3 입력 이미지가 아닌 특징 맵에서 정렬을 수행할 경우, 더 많은 정체성 관련 정보를 유지할 수 있는가?
• RQ4 학습 가능한 가변 랜드마크 템플릿이 인식 작업에서 고정 템플릿을 능가할 수 있는가?
• RQ5 제안된 방법은 큰 자세 변화가 있는 과도한 벤치마크에서 어떻게 성능을 발휘하는가?

주요 결과

• 정확도는 정렬 강도가 증가함에 따라 일정 수준까지 상승하다가 감소함을 확인하여, 과도한 정렬이 얼굴 기하학적 구조를 왜곡함으로써 성능에 악영향을 미친다는 점을 입증함.
• LFW에서 99.85%의 랭크-1 정확도, YTF에서 96.63%, MegaFace에서 98.62%를 기록하여 베이스라인 및 기존 정렬 방법을 모두 초월함.
• 고정 템플릿 대신 학습 가능한 템플릿을 사용할 경우 정확도가 향상되었으며, 학습된 템플릿는 더 넓은 랜드마크 분포를 보여 정점 특징의 구별성 향상에 기여할 수 있음.
• 입력 이미지가 아닌 특징 맵에서 정렬을 수행할 경우 더 높은 성능을 기록함으로써, 정체성에 핵심적인 세밀한 얼굴 특징을 더 잘 유지함.
• 제거 분석 결과, 정렬 손실과 특징 맵 기반 정렬이 성능 향상에 기여하는 데 중요한 역할을 함을 확인함.
• ArcFace 및 CosFace와 유사한 최신 기술 수준의 성능을 달성하였으며, 특히 큰 자세 변화가 있는 데이터셋에서 뛰어난 성능을 발휘함.