[논문 리뷰] M2FPA: A Multi-Yaw Multi-Pitch High-Quality Database and Benchmark for Facial Pose Analysis

Peipei Li, Xiang Wu외 3명|arXiv (Cornell University)|2019. 03. 30.

Face recognition and analysis참고 문헌 34인용 수 7

한 줄 요약

이 논문은 229명의 주제가 62개 자세, 다양한 조명 조건, 액세서리 및 특성 조건을 포함하여 총 397,544장의 이미지를 포함한 대규모 고품질 다중 요르 및 다중 피치 얼굴 데이터베이스인 M2FPA를 소개한다. GAN 프레임워크 내에서 파싱 가이드드 디스크riminator를 제안하여 얼굴 정방향화 성능을 향상시켰으며, M2FPA 및 Multi-PIE에서 자세 불변 얼굴 인식 및 합성 분야에서 최신 기술 수준의 성능을 달성하여 극한의 자세 변화 조건 하에서도 랭크-1 정확도가 최대 99.96%에 이를 수 있었다.

ABSTRACT

Facial images in surveillance or mobile scenarios often have large view-point variations in terms of pitch and yaw angles. These jointly occurred angle variations make face recognition challenging. Current public face databases mainly consider the case of yaw variations. In this paper, a new large-scale Multi-yaw Multi-pitch high-quality database is proposed for Facial Pose Analysis (M2FPA), including face frontalization, face rotation, facial pose estimation and pose-invariant face recognition. It contains 397,544 images of 229 subjects with yaw, pitch, attribute, illumination and accessory. M2FPA is the most comprehensive multi-view face database for facial pose analysis. Further, we provide an effective benchmark for face frontalization and pose-invariant face recognition on M2FPA with several state-of-the-art methods, including DR-GAN, TP-GAN and CAPG-GAN. We believe that the new database and benchmark can significantly push forward the advance of facial pose analysis in real-world applications. Moreover, a simple yet effective parsing guided discriminator is introduced to capture the local consistency during GAN optimization. Extensive quantitative and qualitative results on M2FPA and Multi-PIE demonstrate the superiority of our face frontalization method. Baseline results for both face synthesis and face recognition from state-of-theart methods demonstrate the challenge offered by this new database.

연구 동기 및 목표

• 실제 환경의 얼굴 자세 분석에서 요르 및 피치 변화를 모두 포함하는 종합적이고 고품질의 데이터베이스가 부족한 문제를 해결하기 위해.
• 극한의 시점 변화 조건 하에서 얼굴 정방향화 및 자세 불변 얼굴 인식을 평가하기 위한 벤치마크를 제공하기 위해.
• 큰 요르 및 피치 각도에서 얼굴 합성 과정 동안 신원 정보를 유지하는 강력한 딥러닝 방법을 개발하기 위해.
• 새로운 파싱 가이드드 디스크riminator를 통해 생성된 정방향 이미지의 국소적 얼굴 일관성을 향상시키기 위해.
• 감시 및 모바일 애플리케이션에서 더 현실적이고 정확한 얼굴 합성 및 인식을 가능하게 하기 위해.

제안 방법

• M2FPA 데이터베이스는 제어된 수집 시스템을 사용하여 13개의 요르 각도(-90°에서 +90°)와 5개의 피치 각도(-30°에서 +45°)를 포함한 총 62개 자세를 촬영하여 고해상도(1920×1080) 이미지를 확보하였다.
• 데이터베이스에는 4개의 특성, 7개의 조명 조건, 5종류의 가림 안경이 포함되어 있어 다양성과 현실감을 높였다.
• 세분화된 세그먼테이션 맵을 활용하여 GAN 학습 중 국소적 얼굴 일관성을 강제하기 위해 파싱 가이드드 디스크riminator를 도입하였다.
• 조건부 GAN 프레임워크를 사용하여 생성자는 프ofile 또는 극한 자세 입력으로부터 정방향 얼굴 이미지를 합성한다.
• 얼굴 인식 성능 평가는 사전 학습된 모델(LightCNN-29v2 및 IR-50)을 사용하고, 특징 임bedding 기반의 거리 측정 기반으로 평가되었다.
• 벤치마크 평가는 M2FPA 및 Multi-PIE에서 수행되었으며, DR-GAN, TP-GAN, CAPG-GAN 등의 최신 기술 대비 비교 분석이 이루어졌다.

실험 결과

연구 질문

• RQ1 극한의 요르 및 피치 변화 조건에서 얼굴 정방향화 방법의 성능는 어떻게 변할까?
• RQ2 파싱 가이드드 디스크riminator는 생성된 정방향 얼굴 이미지의 국소적 얼굴 일관성과 현실감을 어느 정도 향상시킬 수 있을까?
• RQ3 제안된 방법은 큰 시점 변화 범위에서 자세 불변 얼굴 인식 성능 측면에서 기존 최신 기술 대비 어떻게 비교될까?
• RQ4 다양한 자세, 조명, 액세서리 변화는 얼굴 인식 시스템의 강인성에 어떤 영향을 미칠까?
• RQ5 M2FPA와 같은 대규모 다중 시점 얼굴 데이터베이스는 향후 자세 불변 얼굴 분석 연구를 위한 신뢰할 수 있는 벤치마크로 기능할 수 있을까?

주요 결과

• 제안된 방법은 ±90° 자세 변화 조건 하에서 Multi-PIE에서 랭크-1 인식 정확도 99.96%를 달성하여 비교된 모든 방법들을 능가했다.
• M2FPA에서 제안된 방법은 +30° 및 -30° 피치 각도에서 각각 98.6% 및 97.2%의 랭크-1 정확도를 기록하여 DR-GAN, TP-GAN, CAPG-GAN을 모두 초월했다.
• 파싱 가이드드 디스크riminator는 국소적 얼굴 구조의 일관성을 크게 향상시켜 기존 GAN 기반 기준 대비 더 사진처럼 현실적인 정방향 이미지를 생성하였다.
• DR-GAN은 M2FPA에서 비지도 학습 방식과 데이터셋 내 높은 자세 다양성으로 인해 성능이 열등하였다.
• M2FPA 데이터베이스는 기존 얼굴 데이터베이스 중에서 요르, 피치, 조명, 액세서리, 특성 등에 대한 가장 포괄적인 커버리지 제공을 한다.
• 벤치마크 결과는 M2FPA가 극한 자세에서 심각하게 인식 정확도가 떨어지는 등 상당한 도전 과제를 제기하며, 강인한 자세 불변 방법의 필요성을 부각시켰다.