[논문 리뷰] Face Recognition Using Deep Multi-Pose Representations

Wael AbdAlmageed, Yue Wua외 10명|arXiv (Cornell University)|2016. 03. 23.

Face recognition and analysis참고 문헌 21인용 수 21

한 줄 요약

이 논문은 포즈별 컨볼루션 신경망(CNN)을 사용하여 포즈 변동에 대한 강건성을 향상시키는 딥 멀티포즈 표현을 제안한다. 단일 이미지에서 3D 렌더링된 다수의 얼굴 포즈를 생성하고 전용 CNN을 통해 특징을 추출함으로써, 도메인 특화 미세조정이나 메트릭 학습 없이 IARPA의 CS2 및 NIST의 IJB-A 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We introduce our method and system for face recognition using multiple pose-aware deep learning models. In our representation, a face image is processed by several pose-specific deep convolutional neural network (CNN) models to generate multiple pose-specific features. 3D rendering is used to generate multiple face poses from the input image. Sensitivity of the recognition system to pose variations is reduced since we use an ensemble of pose-specific CNN features. The paper presents extensive experimental results on the effect of landmark detection, CNN layer selection and pose model selection on the performance of the recognition pipeline. Our novel representation achieves better results than the state-of-the-art on IARPA's CS2 and NIST's IJB-A in both verification and identification (i.e. search) tasks.

연구 동기 및 목표

• 실세계 환경에서 성능을 크게 떨어뜨리는 비제약 조건의 얼굴 인식에서 포즈 변동 문제를 해결한다.
• 기존 방법들이 포즈 변동을 암묵적으로 다루는 데서 비롯하는 한계를 극복하고, 포즈를 명시적으로 모델링한다.
• 다양한 포즈 조건에서 정확도를 향상시키기 위해 다수의 포즈별 딥 특징을 활용하는 표현 프레임워크를 개발한다.
• 도메인 적응 또는 메트릭 학습 없이도 IJB-A 및 CS2와 같은 벤치마크 데이터셋에서 뛰어난 성능을 달성한다.
• 지표점 검출, CNN 레이어 선택, 포즈 모델 선택이 인식 파이프라인 성능에 미치는 영향을 조사한다.

제안 방법

• 3D 얼굴 모델링 및 렌더링 기법을 사용해 단일 입력 이미지에서 다수의 3D 렌더링된 얼굴 포즈를 생성한다.
• 각 포즈 유형(예: 정방향, 측면, 요 45도 등)에 대해 별도의 딥 CNN 모델(예: AlexNet 및 VGG19)을 훈련시어 포즈별 특징을 학습한다.
• 각 포즈별 CNN에서 추출한 딥 특징을 앙상블 전략을 사용해 조합하여 유사도 비교를 수행한다.
• 일관성 유지 및 포즈 관련 오차 감소를 위해 얼굴 인증 및 식별 시 동일 포즈 특징 비교만을 수행한다.
• 데이터 정제 단계(중복된 주제 제거, 이미지 수가 적은 주제 제거, 식별 불가 얼굴 제거)를 거쳐 CASIA-WebFace를 훈련에 사용한다.
• 평가를 위해 IJB-A(오픈세트 식별 및 인증) 및 CS2(클로즈드세트 식별) 데이터셋에 모두 다중포즈 표현을 적용한다.

실험 결과

연구 질문

• RQ1 포즈별 CNN을 사용해 다수의 얼굴 포즈를 명시적으로 모델링할 경우, 과도한 벤치마크에서 인식 성능에 어떤 영향을 미치는가?
• RQ2 지표점 검출의 정확도가 포즈 추정 및 이후 특징 추출 정확도에 미치는 영향은 무엇인가?
• RQ3 어느 CNN 레이어와 아키텍처(예: AlexNet 대비 VGG19)가 다중포즈 표현에 가장 분류 능력이 뛰어난 특징을 도출하는가?
• RQ4 포즈 표현 수(예: 단일, 4개, 5개)가 인식 정확도에 어떤 영향을 미치는가?
• RQ5 데이터에 종속되지 않고 즉시 사용 가능한 딥 러닝 파이프라인은 미세조정 및 메트릭 학습에 의존하는 최신 기술 수준 방법을 능가할 수 있는가?

주요 결과

• 제안된 멀티포즈 표현은 IJB-A 및 CS2 모두에서 단일포즈 CNN 표현보다 뚜렷이 뛰어난 성능을 보였다.
• 5개 포즈 유형(Front-Front, Profile-Front, Front-Yaw0, Front-Yaw45, Front-Yaw75)을 사용한 퀠터플(Quintuple) 표현은 IJB-A에서 TAR@FAR=0.01이 0.876, CS2에서 0.897을 기록하여 이전 최신 기술 수준을 초월했다.
• IJB-A에서 이 방법은 1:N 검색에서 RANK@1이 0.846, RANK@10이 0.947을 달성했으며, 이는 이전 최고 성능인 RANK@10 0.820을 초월했다.
• VGG19 기반의 퀸티플 모델은 CS2에서 TAR@FAR=0.10이 0.959를 기록하여 이전 SOTA인 0.895를 뛰어넘었다.
• 포즈 표현 수가 증가할수록 성능이 일관되게 향상되어 멀티포즈 앙상블의 유용성을 확인했다.
• 도메인 특화 미세조정이나 메트릭 학습 없이도 최신 기술 수준 성능을 달성하여 일반화 능력을 입증했다.