[논문 리뷰] To Frontalize or Not To Frontalize: A Study of Face Pre-Processing Techniques and Their Impact on Recognition

Sandipan Banerjee, Joel Brogan외 6명|arXiv (Cornell University)|2016. 10. 16.

Face recognition and analysis참고 문헌 26인용 수 1

한 줄 요약

이 논문은 딥러닝 기반의 얼굴 인식에서 얼굴 전처리 기법—특히 프론탈라이제이션(facial frontalization)의 영향을 평가한다. 이는 기존 방법들을 능가하는 새로운 단일 이미지 프론탈라이제이션 방법을 제안하며, CNN을 사용할 때 PaSC 및 Multi-PIE 데이터셋에서 자세 정규화를 위한 전처리가 인식 정확도를 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Face recognition performance has improved remarkably in the last decade. Much of this success can be attributed to the development of deep learning techniques such as convolutional neural networks (CNNs). While CNNs have pushed the state-of-the-art forward, their training process requires a large amount of clean and correctly labelled training data. If a CNN is intended to tolerate facial pose, then we face an important question: should this training data be diverse in its pose distribution, or should face images be normalized to a single pose in a pre-processing step? To address this question, we evaluate a number of popular facial landmarking and pose correction algorithms to understand their effect on facial recognition performance. Additionally, we introduce a new, automatic, single-image frontalization scheme that exceeds the performance of current algorithms. CNNs trained using sets of different pre-processing methods are used to extract features from the Point and Shoot Challenge (PaSC) and CMU Multi-PIE datasets. We assert that the subsequent verification and recognition performance serves to quantify the effectiveness of each pose correction scheme.

연구 동기 및 목표

• 얼굴 이미지를 표준 프론탈 자세로 전처리하는 것이 딥러닝 기반 얼굴 인식 성능을 향상시키는지 조사하기 위해.
• 인식 정확도의 맥락에서 기존의 얼굴 랜드마크 검출 및 자세 보정 알고리즘의 성능을 평가하기 위해.
• 기존 최고 수준의 기술들을 능가하는 새로운 자동 단일 이미지 프론탈라이제이션 방법을 개발하고 검증하기 위해.
• 기준 데이터셋에서 특징 추출 및 확인 성능를 통해 다양한 전처리 전략의 효과를 정량화하기 위해.

제안 방법

• 저자들은 CNN 특징 추출 이전에 얼굴 이미지를 프론탈 자세로 정규화하기 위해 여러 얼굴 랜드마크 검출 및 자세 보정 알고리즘을 적용한다.
• 딥러닝을 활용하여 단일 제약 없는 이미지에서 프론탈 뷰를 합성하는 새로운 단일 이미지 프론탈라이제이션 방법을 도입한다.
• CNN은 다양한 프론탈라이제이션 기법(제안된 방법 포함)으로 사전 처리된 데이터셋을 사용하여 훈련되어 특징을 추출한다.
• 성능 평가는 Point and Shoot Challenge (PaSC) 및 CMU Multi-PIE 데이터셋을 사용하여 확인 및 인식 정확도에 중점을 두고 평가된다.
• 각 전처리 방법의 효과는 다양한 자세 조건에서의 인식 성능를 비교하여 정량화된다.

실험 결과

연구 질문

• RQ1 얼굴 이미지를 프론탈 자세로 전처리하는 것이 딥러닝 모델의 인식 성능을 향상시키는가?
• RQ2 기존의 얼굴 랜드마크 검출 및 자세 보정 알고리즘이 인식 정확도에 미치는 영향은 어떻게 비교되는가?
• RQ3 새로운 단일 이미지 프론탈라이제이션 방법이 기존 최고 수준의 기술들을 능가할 수 있는가?
• RQ4 CNN 기반 얼굴 인식에서 자세 정규화와 다양한 자세의 훈련 데이터 중 어느 것이 더 중요한 기여를 하는가?

주요 결과

• 제안된 단일 이미지 프론탈라이제이션 방법은 기존 알고리즘 대비 인식 정확도 측면에서 뛰어난 성능을 달성한다.
• 프론탈라이제이션을 통한 전처리는 PaSC 및 Multi-PIE와 같은 제약 없는 데이터셋에서 인식 성능을 크게 향상시킨다.
• 전처리를 통한 자세 정규화는 특히 큰 자세 변화가 있는 상황에서 더 견고한 특징 표현을 이끌어낸다.
• 이 연구는 원본 제약 없는 자세를 사용하는 것보다 사전 처리된 프론탈 이미지로 훈련하는 것이 더 나은 확인 성능을 낸다는 것을 입증한다.