[논문 리뷰] PAM: Pose Attention Module for Pose-Invariant Face Recognition

En-Jung Tsai, Wei‐Chang Yeh|arXiv (Cornell University)|2021. 11. 23.

Face recognition and analysis참고 문헌 36인용 수 4

한 줄 요약

이 논문은 소프트 게이트 메커니즘을 사용하여 계층적 특징 공간에서 정면 및 측면 얼굴 간 잔차 특징 변환을 학습함으로써 자세 불변 얼굴 인식을 수행하는 경량 주의 블록인 포즈 주의 모듈(Pose Attention Module, PAM)을 제안한다. PAM은 이전 방법 대비 메모리 요구량을 75배 이상 줄이며 여러 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Pose variation is one of the key challenges in face recognition. Conventional techniques mainly focus on face frontalization or face augmentation in image space. However, transforming face images in image space is not guaranteed to preserve the lossless identity features of the original image. Moreover, these methods suffer from more computational costs and memory requirements due to the additional models. We argue that it is more desirable to perform feature transformation in hierarchical feature space rather than image space, which can take advantage of different feature levels and benefit from joint learning with representation learning. To this end, we propose a lightweight and easy-to-implement attention block, named Pose Attention Module (PAM), for pose-invariant face recognition. Specifically, PAM performs frontal-profile feature transformation in hierarchical feature space by learning residuals between pose variations with a soft gate mechanism. We validated the effectiveness of PAM block design through extensive ablation studies and verified the performance on several popular benchmarks, including LFW, CFP-FP, AgeDB-30, CPLFW, and CALFW. Experimental results show that our method not only outperforms state-of-the-art methods but also effectively reduces memory requirements by more than 75 times. It is noteworthy that our method is not limited to face recognition with large pose variations. By adjusting the soft gate mechanism of PAM to a specific coefficient, such semantic attention block can easily extend to address other intra-class imbalance problems in face recognition, including large variations in age, illumination, expression, etc.

연구 동기 및 목표

• 딥 얼굴 인식에서 자세 변동으로 인한 성능 저하 문제를 해결하기 위해, 훈련 데이터의 내부 클래스 불균형이 주요 원인임을 인지하고자 한다.
• 정체성 특징를 유지하지 못하고 계산 오버헤드를 증가시키는 이미지 공간 변환 방법의 한계를 극복하고자 한다.
• 이미지 또는 최종 임bedding 공간이 아닌 계층적 특징 공간에서 효과적인 특징 변환을 수행하는 경량이고 모듈식 주의 블록을 개발하고자 한다.
• 다중 수준 특징을 활용하여 표현 학습과 공동 학습을 가능하게 하여 자세 변동에 대한 강건성을 향상시키고자 한다.
• 제안된 모듈의 적용 가능성을 자세 변동 외에도 연령, 조명, 표정과 같은 다른 내부 클래스 변동에까지 확장하고자 한다.

제안 방법

• PAM은 두 개의 순차적 서브모듈인 깊이 분리 잔차 모듈(Deepwise Residual Module, DRM)과 채널 주의 모듈(Channel Attention Module, CAM)으로 구성된 경량 주의 블록이다.
• DRM은 소프트 게이트 메커니즘을 사용하여 정면 및 측면 얼굴 특징 간 잔차를 학습함으로써 특징 변환을 적응적으로 조절한다.
• CAM은 DRM 이후 특징 채널을 재가중하여 자세 변동에 기반한 분류적 특징의 표현을 강화한다.
• 이 모듈은 깊이 있는 얼굴 인식 모델의 여러 특징 수준에 통합되어 계층적 특징 변환을 가능하게 한다.
• DRM 내부의 소프트 게이트 메커니즘은 파라미터 효율적인 방식으로 자세 변동 간 공유되고 근사된 특징 변환을 학습할 수 있도록 한다.
• PAM은 기존 얼굴 인식 아키텍처에 쉽게 통합할 수 있도록 설계되어 있으며, 아키텍처 변경이 최소한이 되도록 한다.

실험 결과

연구 질문

• RQ1 계층적 특징 공간에서의 특징 변환은 자세 불변 얼굴 인식에서 이미지 공간 또는 최종 임베딩 공간에서의 변환보다 우수한 성능을 낼 수 있는가?
• RQ2 경량 주의 블록이 정면 및 측면 얼굴 특징 간 잔차 변환을 효과적으로 학습하면서도 정체성 정보를 유지할 수 있는가?
• RQ3 기존 자세 불변 방법에 비해 성능을 손상시키지 않으면서도 PAM 모듈이 메모리 및 계산 비용을 줄일 수 있는가?
• RQ4 PAM 내부의 소프트 게이트 메커니즘이 연령, 조명, 표정과 같은 다른 내부 클래스 변동에도 일반화될 수 있는가?
• RQ5 어려운 벤치마크에서 ArcFace 및 DREAM과 같은 최고 수준의 기존 방법과 비교해 PAM의 정확도 및 효율성은 어떠한가?

주요 결과

• PAM은 LFW, CFP-FP, AgeDB-30, CPLFW, CALFW에서 최고 성능을 기록하였으며, LFW에서 99.82%의 정확도와 CPLFW에서 92.80%의 정확도를 달성하였다.
• 50층 ResNet을 사용하고도 CPLFW 및 CALFW에서 ArcFace(IR100)를 초월하여 높은 파라미터 효율성을 입증하였다.
• DREAM 블록 대비 모델 파라미터를 75배 이상 줄였으며, CFP-FP 및 CPLFW에서 더 높은 성능을 기록하였다.
• IR50 기준선 대비 CFP-FP에서 검증 정확도를 0.35% 향상시키고, CPLFW에서 0.15% 향상시켰다.
• 낮은 파라미터 수에도 불구하고 일반화 능력이 뛰어나 AgeDB-30에서 DREAM 대비 0.05% 향상되었고, CALFW에서는 0.12% 향상되었다.
• 제거 분석 결과 계층적 특징 공간 변환이 특징 임베딩 공간 변환보다 더 효과적이며, 자세에 대한 강건성 향상에 상당한 기여가 있음을 확인하였다.