[논문 리뷰] Part-based Face Recognition with Vision Transformers

Zhonglin Sun, Georgios Tzimiropoulos|arXiv (Cornell University)|2022. 11. 30.

Face recognition and analysis인용 수 6

한 줄 요약

이 논문은 표준 손실 함수를 사용하여 여러 벤치마크에서 최고 성능을 기록한 Vision Transformer 기반의 얼굴 인식 모델인 fViT를 제안한다. 또한 경량 CNN을 통해 끝내기로 얼굴의 특징점 좌표를 예측하고, 이 좌표 주변에서 추출한 패치에 ViT를 적용하는 부분 기반 프레임워크인 part fViT를 도입한다. 이는 특징점 감독 없이도 정확도를 향상시키며, 성능 향상에 기여한다.

ABSTRACT

Holistic methods using CNNs and margin-based losses have dominated research on face recognition. In this work, we depart from this setting in two ways: (a) we employ the Vision Transformer as an architecture for training a very strong baseline for face recognition, simply called fViT, which already surpasses most state-of-the-art face recognition methods. (b) Secondly, we capitalize on the Transformer's inherent property to process information (visual tokens) extracted from irregular grids to devise a pipeline for face recognition which is reminiscent of part-based face recognition methods. Our pipeline, called part fViT, simply comprises a lightweight network to predict the coordinates of facial landmarks followed by the Vision Transformer operating on patches extracted from the predicted landmarks, and it is trained end-to-end with no landmark supervision. By learning to extract discriminative patches, our part-based Transformer further boosts the accuracy of our Vision Transformer baseline achieving state-of-the-art accuracy on several face recognition benchmarks.

연구 동기 및 목표

• 표준 손실 함수를 사용하여 순수한 비전 트랜스포머(fViT)의 성능을 평가함으로써 얼굴 인식의 강력한 베이스라인을 확보하고자 한다.
• 부분 기반 얼굴 인식에 영감을 받은 바, 비전 트랜스포머가 비균일하게 분포된 시각 토큰을 처리할 잠재력을 탐색하고자 한다.
• 명시적인 특징점 애너테이션 없이도 분류성 있는 얼굴 부분의 위치 추적과 인식을 동시에 학습할 수 있는 새로운 종단 간 훈련 가능한 파이프라인, part fViT를 개발하고자 한다.
• ViT를 통해 부분 기반 특징을 학습하는 것이 전체 특징 학습에 비해 일반화 능력과 정확도를 향상시킨다는 것을 입증하고자 한다.
• part fViT 파이프라인 내의 특징점 예측 헤드가 효과적인 비지도 얼굴 특징점 탐지 방법으로 활용될 수 있다는 것을 보여주고자 한다.

제안 방법

• ArcFace 손실 함수를 사용하여 전체 얼굴 이미지에 직접 비전 트랜스포머(ViT)를 훈련시어 fViT 기준 모델을 구성한다.
• 정답 특징점이 필요 없이 입력 이미지에서 얼굴 관건점 좌표를 직접 회귀하는 경량 CNN을 사용한다.
• 예측된 특징점 좌표 주변에서 얼굴 이미지에서 패치를 추출하여 비균일한 그리드 형태의 시각 토큰을 구성한다.
• 이러한 비균일하게 분포된 패치는 비전 트랜스포머에 입력되어 특징 추출 및 인식을 수행하며, 부분 기반 어텐션 학습이 가능해진다.
• 특징점 회귀기와 ViT를 포함한 전체 시스템은 정체성 레이블만으로 종단 간 훈련된다.
• 이 방법은 ViT가 비균일하게 분포된 토큰에 주의를 기울일 수 있는 능력을 활용하여 눈, 코, 입과 같은 얼굴 부분을 효과적으로 모델링할 수 있다.

실험 결과

연구 질문

• RQ1 아키텍처 수정 없이도 적절히 최적화된 표준 비전 트랜스포머 백본이 최고의 얼굴 인식 정확도를 달성할 수 있는가?
• RQ2 비전 트랜스포머가 비균일하게 분포된 시각 토큰을 처리할 수 있는 본질적 유연성을 활용하여 부분 기반 얼굴 인식 시스템을 설계할 수 있는가?
• RQ3 정체성 레이블만으로도 특징점 예측 헤드와 ViT를 종단 간 훈련시키면 효과적이고 분류력 있는 부분 위치 추적을 달성할 수 있는가?
• RQ4 제안된 part fViT의 성능은 표준 벤치마크에서 전체 ViT 및 다른 최고 수준의 얼굴 인식 모델과 비교해 어떻게 되는가?
• RQ5 part fViT 파이프라인 내의 특징점 예측 헤드는 실용적인 비지도 얼굴 특징점 탐지 방법으로 기능할 수 있는가?

주요 결과

• 표준 ArcFace 손실 함수를 사용해 훈련된 fViT 기준 모델은 특수한 데이터 증강 기법이나 복잡한 헤드 설계 없이도 LFW(99.44%), AgeDB-30(93.52%), IJB-C(91.03%)에서 최고 성능을 기록한다.
• part fViT 모델은 평가된 모든 벤치마크에서 fViT 기준 모델을 초월하여 LFW(99.56%), AgeDB-30(93.92%), IJB-C(91.03%)에서 최고 성능을 기록하며, 이들 데이터셋에서 새로운 최고 기록을 수립한다.
• 어텐션 맵의 시각화 결과, part fViT는 특히 눈과 같은 다수의 분류력 있는 얼굴 부분에 주의를 기울이는 것으로 나타났으며, 전체 fViT는 헤드 간 일관성과 집중도가 떨어지는 경향을 보였다.
• part fViT에서 학습된 특징점은 다양한 자세에서도 양호한 대응 관계를 보이며, 감독 없이도 의미 있는 얼굴 구조를 암묵적으로 학습하고 있음을 시사한다.
• 보조 자료에서 확인한 바, part fViT의 특징점 예측 헤드는 비지도 얼굴 특징점 탐지 방법으로도 잘 일반화됨을 입증하였다.
• 절단 분석 결과, 특징점 예측 헤드와 부분 기반 패치 추출 메커니즘이 fViT 기준 모델 대비 최종 정확도 향상에 기여하는 것으로 확인되었다.