[논문 리뷰] Masked Face Recognition with Generative-to-Discriminative Representations

Shiming Ge, Weijia Guo외 4명|arXiv (Cornell University)|2024. 05. 27.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 마스크된 얼굴 인식을 위한 생성적에서 판별적 표현 학습 프레임워크를 제안한다. 세 모듈로 구성된 네트워크를 사용한다: 손상에 강건하고 카테고리 인식 능력을 갖춘 사전 훈련된 생성적 인코더, 지식 정착을 통해 미세조정된 판별적 리폼어로 신원 인식 특징을 생성하며, 분류기 헤드를 포함한다. 이 방법은 합성 및 실제 마스크된 얼굴 벤치마크에서 최신 기술 성능을 달성하며, ArcFace를 교사 모델로 사용할 경우 CPLFW에서 92.86%의 정확도와 합성 LFW에서 98.02%의 정확도를 기록한다.

ABSTRACT

Masked face recognition is important for social good but challenged by diverse occlusions that cause insufficient or inaccurate representations. In this work, we propose a unified deep network to learn generative-to-discriminative representations for facilitating masked face recognition. To this end, we split the network into three modules and learn them on synthetic masked faces in a greedy module-wise pretraining manner. First, we leverage a generative encoder pretrained for face inpainting and finetune it to represent masked faces into category-aware descriptors. Attribute to the generative encoder's ability in recovering context information, the resulting descriptors can provide occlusion-robust representations for masked faces, mitigating the effect of diverse masks. Then, we incorporate a multi-layer convolutional network as a discriminative reformer and learn it to convert the category-aware descriptors into identity-aware vectors, where the learning is effectively supervised by distilling relation knowledge from off-the-shelf face recognition model. In this way, the discriminative reformer together with the generative encoder serves as the pretrained backbone, providing general and discriminative representations towards masked faces. Finally, we cascade one fully-connected layer following by one softmax layer into a feature classifier and finetune it to identify the reformed identity-aware vectors. Extensive experiments on synthetic and realistic datasets demonstrate the effectiveness of our approach in recognizing masked faces.

연구 동기 및 목표

• 실세계 응용에서 마스크로 인한 손상과 정보 손실로 인한 마스크된 얼굴 인식 문제를 해결한다.
• 순수하게 생성적 또는 판별적 접근 방식의 한계를 극복하기 위해, 생성 모델의 맥락 복구 능력과 판별 모델의 신원 식별 능력을 결합한다.
• 마스크된 얼굴와 마스크가 없는 얼굴 양쪽에서 성능을 유지하는 통합형 엔드 투 엔드 트레이닝 가능한 프레임워크를 개발한다.
• 다양한 마스크 유형에 걸쳐 일관된 신원 인식 표현을 학습함으로써 다양한 맥락적 변형이 있는 손상에 대해 강건성을 향상시킨다.
• 효율적인 추론 속도(단일 RTX 3090에서 23.35 FPS)를 통해 실용적 구현을 가능하게 한다.

제안 방법

• 마스크된 얼굴에서 카테고리 인식 특징을 생성하기 위해, 맥락적 얼굴 정보를 복구할 수 있는 능력을 지닌 사전 훈련된 얼굴 복원 인코더를 생성적 인코더로 활용하며, 이를 마스크된 얼굴에 대해 미세조정한다.
• 22층의 컨volutional 판별적 리폼어를 도입하여, 사전 훈련된 얼굴 인식 모델(예: ArcFace 또는 VGGFace2)에서 유도된 지식 정착을 통해 카테고리 인식 특징을 신원 인식 특징으로 변환한다.
• 다중 손실 훈련 전략을 적용한다: 신원 분류를 위한 크로스 엔트로피 손실, 특징 복원을 위한 L1 손실, 그리고 교사 모델에서 유도된 관계 인식 특징을 전달하기 위한 지식 정착.
• 탐욕적이고 모듈 단위의 사전 훈련을 수행한다: 먼저 합성 마스크된 얼굴에서 생성적 인코더를 사전 훈련하고, 이후 지식 정착과 분류 신호를 사용하여 판별적 리폼어와 특징 분류기의 공동 미세조정을 수행한다.
• 사전 훈련 후 백본(생성적 인코더 + 판별적 리폼어)을 고정하고, 하류 인식 작업에서 오직 최종 분류기 헤드만 미세조정한다.
• 데이터 증강 및 합성 마스크된 얼굴 생성을 통해 다양한 마스크 유형에 걸쳐 강건성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 생성적 및 판별적 구성 요소를 통합한 통합 네트워크 아키텍처가 단독 생성적 또는 판별적 모델보다 마스크된 얼굴 인식 정확도를 향상시킬 수 있는가?
• RQ2 고정확도 얼굴 인식기에서 유도된 지식 정착이 마스크된 얼굴에서 학습된 표현의 판별 능력을 향상시키는가?
• RQ3 사전 훈련된 얼굴 복원 인코더가 마스크된 얼굴 인식에 일반화 가능한 손상에 강인한 특징를 생성할 수 있는가?
• RQ4 제안된 생성적에서 판별적 파이프라인은 합성 및 현실적인 마스크된 얼굴 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ5 마스크된 얼굴 인식 성능 향상과 함께, 마스크가 없는 얼굴 인식 성능는 어느 정도 유지되는가?

주요 결과

• 제안된 G2D 모델은 마스크된 얼굴 인식에 대해 CPLFW 벤치마크에서 92.86%의 정확도를 달성하며, MaskInv 및 SphereFace와 같은 이전 방법들을 능가한다.
• 합성 마스크된 LFW에서 ArcFace를 교사 모델로 사용할 경우 98.02%의 검증 정확도를 기록했으며, VGGFace2를 사용할 경우 97.58%였다.
• 학습된 표현의 유사도 점수 분포는 양성 쌍과 음성 쌍 간에 최소한의 겹침을 보이며, 이상적인 경우에 가까운 강력한 판별성을 나타낸다.
• 정상 얼굴 인식에서도 경쟁적인 성능를 유지하며, CPLFW에서 92.23%의 정확도를 기록하여 마스크된 입력과 마스크가 없는 입력 모두에서 강건성을 입증한다.
• 단일 RTX 3090 GPU에서 추론 속도가 23.35 FPS에 도달하여 도시 거버넌스 및 공공 안보 시스템에서 실시간 구현 가능성을 입증한다.
• 절단 실험 결과, 직접적인 크로스 엔트로피 감독보다 지식 정착이 신원 학습에 더 효과적임을 확인하였으며, 지식 정착을 사용한 모델이 더 우수한 수렴과 성능을 보였다.