[논문 리뷰] FacePoseNet: Making a Case for Landmark-Free Face Alignment

Feng-Ju Chang, Anh Tran외 4명|arXiv (Cornell University)|2017. 08. 24.

Face recognition and analysis참고 문헌 46인용 수 16

한 줄 요약

FacePoseNet (FPN)은 이미지 강도에서 직접 6DoF 3D 헤드 포즈를 회귀하는 경량 CNN을 사용하여 랜드마크 없이 얼굴 정렬을 수행하는 방법을 제안한다. 이는 IJB-A 및 IJB-B 벤치마크에서 뛰어난 얼굴 인식 정확도를 달성하면서도 최신 랜드마크 검출기보다 약 10배 빠른 성능을 보이며, 랜드마크 검출 정확도가 높을수록 후속 인식 성능이 향상된다는 가정에 도전한다.

ABSTRACT

We show how a simple convolutional neural network (CNN) can be trained to accurately and robustly regress 6 degrees of freedom (6DoF) 3D head pose, directly from image intensities. We further explain how this FacePoseNet (FPN) can be used to align faces in 2D and 3D as an alternative to explicit facial landmark detection for these tasks. We claim that in many cases the standard means of measuring landmark detector accuracy can be misleading when comparing different face alignments. Instead, we compare our FPN with existing methods by evaluating how they affect face recognition accuracy on the IJB-A and IJB-B benchmarks: using the same recognition pipeline, but varying the face alignment method. Our results show that (a) better landmark detection accuracy measured on the 300W benchmark does not necessarily imply better face recognition accuracy. (b) Our FPN provides superior 2D and 3D face alignment on both benchmarks. Finally, (c), FPN aligns faces at a small fraction of the computational cost of comparably accurate landmark detectors. For many purposes, FPN is thus a far faster and far more accurate face alignment method than using facial landmark detectors.

연구 동기 및 목표

• 300W와 같은 벤치마크에서 더 높은 얼굴 랜드마크 검출 정확도가 더 나은 얼굴 정렬 및 인식 성능을 이끌어낸다는 가정을 도전하기 위해.
• 명시적인 랜드마크 검출을 회피하고 이미지 강도에서 직접 6DoF 헤드 포즈를 회귀하는 랜드마크 없는 얼굴 정렬 방법을 제안하기 위해.
• 랜드마크 검출 정확도로가 아니라 얼굴 정렬 방법의 종단 간 인식 성능에 미치는 영향으로 얼굴 정렬 방법을 평가하기 위해.
• FPN가 유사한 랜드마크 검출기들보다 훨씬 낮은 계산 비용으로 2D 및 3D 얼굴 정렬 성능을 뛰어나게 달성할 수 있음을 보여주기 위해.
• 랜드마크 검출 노이즈와 얼굴 표정 변동성이 정렬 품질을 떨어뜨릴 수 있으며, 이로 인해 많은 경우에서 랜드마크 없는 포즈 회귀가 더 견고한 대안이 될 수 있음을 보여주기 위해.

제안 방법

• 원시 이미지 강도에서 직접 6도의 자유도(6DoF) 3D 헤드 포즈를 회귀하도록 단순하고 가벼운 컨volutional 신경망(CNN)을 훈련한다.
• OpenFace가 생성한 포즈 애너테이션(회전 및 이동 파rameter 포함)을 사용하여 네트워크를 훈련함으로써, 명시적 랜드마크 감독 없이 종단 간 회귀가 가능하도록 한다.
• 예측된 6DoF 포즈 기반의 3D 변환을 적용하여 입력 얼굴를 기준 참조 프레임으로 워핑함으로써 얼굴 정렬을 수행한다.
• 얼굴 랜드마크에 의존하지 않기에, 표정 변화, 형태 변동성, 모호한 랜드마크 정의로 인한 오류를 제거할 수 있다.
• GPU 배포를 통해 추론 속도를 가속화하여 최신 랜드마크 검출기보다 약 10배 더 빠른 실시간 정렬을 가능하게 한다.
• IJB-A 및 IJB-B 벤치마크에서 통합된 얼굴 인식 파이프라인을 사용하여 평가하며, 정렬 품질은 인식 정확도로 측정된다.

실험 결과

연구 질문

• RQ1 300W와 같은 표준 벤치마크에서 더 높은 랜드마크 검출 정확도가 더 나은 얼굴 인식 성능과 상관관계가 있는가?
• RQ2 이미지 강도에서 직접 6DoF 3D 포즈를 회귀하는 것이 랜드마크 기반 정렬보다 얼굴 인식 작업에서 더 나은 성능을 낼 수 있는가?
• RQ3 표정 및 형태 변동성이 랜드마크 기반 얼굴 정렬의 신뢰성에 어떤 영향을 미치는가?
• RQ4 실제 응용에서 랜드마크 없는 포즈 회귀의 계산 비용은 랜드마크 검출과 비교해 어떻게 되는가?
• RQ5 노이즈가 있거나 완벽하지 않은 포즈 레이블로 훈련된 CNN이 도전적인 비제약 조건의 얼굴 이미지에 잘 일반화될 수 있는가?

주요 결과

• FPN는 300W 벤치마크에서 랜드마크 검출 정확도가 낮음에도 불구하고 IJB-A 및 IJB-B 벤치마크에서 최신 랜드마크 검출기들보다 뛰어난 얼굴 인식 정확도를 달성한다.
• 유사한 랜드마크 검출 방법들보다 약 10배 더 빠르며, 평균 추론 시간이 다른 모든 테스트 방법들보다 현저히 낮다.
• FPN의 랜드마크 예측은 300W에서 OpenFace 및 기타 검출기들보다 정확도가 낮지만, 이로 인한 얼굴 정렬 결과는 더 나은 인식 성능을 보인다.
• 연구 결과, 표준 벤치마크에서 향상된 랜드마크 검출 정확도가 반드시 더 나은 정렬 또는 인식 결과로 이어지지 않는다는 점을 입증한다.
• FPN는 랜드마크 추정을 회피함으로써 표정과 형태 변동성에 대해 강건한 성능을 보이며, 정렬 과정에서 오류 전파를 줄인다.
• 결과적으로 CNN이 노이즈가 있거나 완벽하지 않은 포즈 레이블로부터 효과적으로 학습하고, 제약 조건에서 비제약 조건으로의 도메인 이동에 잘 일반화될 수 있음을 시사한다.