[논문 리뷰] Facial Pose Estimation by Deep Learning from Label Distributions

Zhaoxiang Liu, Zezhou Chen외 3명|arXiv (Cornell University)|2019. 04. 30.

Face recognition and analysis참고 문헌 54인용 수 4

한 줄 요약

이 논문은 레이블 분포 학습을 통해 포즈 회귀 문제를 모델링하고, 불균형 데이터셋에서의 일반화를 향상시키기 위해 가우시안 레이블 분포 손실을 사용함으로써 깊이 신경망을 통한 얼굴 자세 추정을 제안한다. AFLW와 300W-LP에서 이 손실을 사용해 CNN을 훈련시킴으로써, AFLW2000 및 BIWI와 같은 벤치마크에서 평균 절대 오차(MAE)를 최대 13.8% 감소시켜 최신 기술 성능을 달성한다.

ABSTRACT

Facial pose estimation has gained a lot of attentions in many practical applications, such as human-robot interaction, gaze estimation and driver monitoring. Meanwhile, end-to-end deep learning-based facial pose estimation is becoming more and more popular. However, facial pose estimation suffers from a key challenge: the lack of sufficient training data for many poses, especially for large poses. Inspired by the observation that the faces under close poses look similar, we reformulate the facial pose estimation as a label distribution learning problem, considering each face image as an example associated with a Gaussian label distribution rather than a single label, and construct a convolutional neural network which is trained with a multi-loss function on AFLW dataset and 300W-LP dataset to predict the facial poses directly from color image. Extensive experiments are conducted on several popular benchmarks, including AFLW2000, BIWI, AFLW and AFW, where our approach shows a significant advantage over other state-of-the-art methods.

연구 동기 및 목표

• AFLW 및 300W-LP와 같은 기존 데이터셋에서 큰 얼굴 자세에 대한 훈련 데이터가 부족한 문제를 해결한다.
• 이웃한 자세 간의 유사성을 활용하지 못하는 표준 소프트맥스 교차엔트로피 손실의 한계를 극복한다.
• 단일 레이블이 아닌 연속적인 분포로 자세 레이블을 모델링하여 자세 추정 정확도를 향상시킨다.
• 레이블 분포 학습에 가우시안 제약을 도입함으로써 모델의 강건성과 일반화 능력이 향상되며, 특히 드문 자세나 큰 자세에 대해 유의미한 개선이 이루어짐을 입증한다.

제안 방법

• 각 얼굴 이미지가 진짜 자세 중심의 가우시안 분포 레이블을 가지는 라벨 분포 학습 문제로 얼굴 자세 추정을 재정의한다.
• 진짜 자세에 가까워지고 인접한 자세로 점차 감쇠하는 예측을 유도하는 새로운 가우시안 레이블 분포 손실을 정의한다.
• 가우시안 레이블 분포 손실과 표준 회귀 손실을 조합한 다중 손실 함수를 사용해 컨volutional 신경망을 훈련시킨다.
• RGB 이미지에 대해 끝에서 끝까지 엔드 투 엔드로 훈련하기 위해 AFLW 및 300W-LP 데이터셋의 데이터를 사용하여 요, 피치, 롤 각도를 직접 회귀한다.
• 가우시안 분포의 폭을 제어하는 하이퍼파라미터 α를 도입하여 정밀도와 일반화 사이의 트레이드오프를 가능하게 한다.
• 훈련된 모델을 AFLW2000, BIWI, AFLW 및 AFW를 포함한 여러 벤치마크에서 테스트하고, 요, 피치, 롤 및 MAE 메트릭을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 단일 레이블이 아닌 레이블 분포로 얼굴 자세를 모델링할 경우, 불균형 데이터셋에서 성능 향상이 이루어지는가?
• RQ2 이웃한 자세 간의 유사성 제약을 가우시안 기반으로 도입할 경우, 특히 부족한 큰 자세에 대해 오차가 감소하는가?
• RQ3 표준 소프트맥스 교차엔트로피 손실 및 회귀 손실과 비교해 제안된 레이블 분포 손실은 강건성과 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 AFLW2000, BIWI 및 AFW와 같은 다양한 벤치마크에서 이 방법의 일반화 능력은 어느 정도인가?
• RQ5 왜 요와 피치에 비해 롤 추정에서 성능 향상 폭이 줄어들며, 이는 데이터 불균형 때문인가?

주요 결과

• 제안된 방법은 AFLW2000에서 최고의 베이스라인(Hopenet) 대비 MAE를 13.8% 감소시켜 최신 기술 성능을 달성한다.
• BIWI 벤치마크에서 모델은 피치에 대해 19.4% 감소, 요에 대해 20.8% 감소, 전체적으로 13.8% MAE 감소를 기록한다.
• AFLW 벤치마크에서 최고 성능 모델(α=0.01)은 요 오차를 4.2%, 피치 오차를 9.85% 감소시키며, MAE는 5.71% 감소시킨다.
• AFW 벤치마크에서 모델은 99% 이상의 정확도를 기록하여 Hopenet 및 KEPLER를 포함한 모든 베이스라인을 능가한다.
• α=0.01인 모델는 정밀도와 일반화 사이의 최적 균형을 이루며, 모든 메트릭과 데이터셋에서 일관된 개선을 보여준다.
• 롤 추정에서의 성능 격차는 요와 피치에 비해 더 크며, 이는 롤 영역에서 극심한 데이터 불균형 때문이며, AFLW의 65.57%와 BIWI의 67.65%가 ±10° 이내에 분포해 있다.