[논문 리뷰] Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks

Zhenhua Feng, Josef Kittler외 3명|arXiv (Cornell University)|2017. 11. 17.

Face recognition and analysis인용 수 36

한 줄 요약

이 논문은 얼굴 랜드마크 정렬을 위한 딥 컨volution 신경망 훈련을 향상시키기 위해 작은 오차와 중간 오차의 영향을 증폭시키는 새로운 조각별 손실 함수인 Wing loss를 제안한다. 300W 및 AFLW 벤치마크에서 최신 기술 수준의 정확도를 달성하며, 이전 방법 대비 오차를 최대 20% 감소시켰고, 자세 기반 데이터 균형 조정 및 개선된 내성과 성능을 위한 이중 단계 프레임워크를 도입하였다.

ABSTRACT

We present a new loss function, namely Wing loss, for robust facial landmark localisation with Convolutional Neural Networks (CNNs). We first compare and analyse different loss functions including L2, L1 and smooth L1. The analysis of these loss functions suggests that, for the training of a CNN-based localisation model, more attention should be paid to small and medium range errors. To this end, we design a piece-wise loss function. The new loss amplifies the impact of errors from the interval (-w, w) by switching from L1 loss to a modified logarithm function. To address the problem of under-representation of samples with large out-of-plane head rotations in the training set, we propose a simple but effective boosting strategy, referred to as pose-based data balancing. In particular, we deal with the data imbalance problem by duplicating the minority training samples and perturbing them by injecting random image rotation, bounding box translation and other data augmentation approaches. Last, the proposed approach is extended to create a two-stage framework for robust facial landmark localisation. The experimental results obtained on AFLW and 300W demonstrate the merits of the Wing loss function, and prove the superiority of the proposed method over the state-of-the-art approaches.

연구 동기 및 목표

• 표준 손실 함수인 L2가 딥 컨volution 신경망 기반 얼굴 랜드마크 정렬에서 가지는 한계를 해결하기 위해.
• 작고 중간 크기의 회귀 오차에 초점을 맞춰 훈련의 안정성과 정확도를 향상시키기 위해, 이는 강력한 정렬에 핵심적인 역할을 한다.
• 특히 평면 외부의 큰 회전을 보이는 얼굴에 대해 발생하는 데이터 불균형 문제를 완화하기 위해.
• 단일 단계 모델을 넘어서 반복적 정밀 조정을 통해 정확도를 향상시키는 이중 단계 프레임워크를 개발하기 위해.
• Wing loss가 다양한 딥 네트워크 아키텍처와 벤치마크 데이터셋에 일반화 가능한지 입증하기 위해.

제안 방법

• 정의된 구간 (-w, w) 내에서 L1에서 수정된 로그 함수로 전환되는 조각별 손실 함수인 Wing loss를 제안하여 작은 오차와 중간 오차에 대한 영향을 강조한다.
• 특정 자세(예: 큰 머리 회전)를 가진 소수의 샘플을 무작위 이미지 회전 및 경계 상자 이동을 통해 복제하고 증강함으로써 자세 기반 데이터 균형 조정 전략을 설계한다.
• 첫 번째 단계에서 거친 랜드마크를 예측하고, 첫 번째 단계의 특징 맵을 사용해 두 번째 단계에서 이를 정밀 조정하는 이중 단계 캐스케이드 회귀 프레임워크를 구현한다.
• AFLW 및 300W 데이터셋에서 Wing loss로 미세 조정된 표준 CNN 아키텍처(예: CNN-6/7, ResNet-50)를 사용한다.
• 일반화 성능 향상을 위해 무작위 회전 및 이동을 포함한 데이터 증강 기법을 적용한다.
• 다양한 네트워크 아키텍처와 벤치마크에서 손실 함수의 유효성을 평가하여 강건성과 확장성을 검증한다.

실험 결과

연구 질문

• RQ1 L1, L2, smooth L1와 같은 일반적인 손실 함수는 딥 컨volution 신경망 기반 얼굴 랜드마크 정렬에서 성능 면에서 어떻게 비교되는가?
• RQ2 작고 중간 크기의 회귀 오차에 더 중점을 두어 정확도를 향상시킬 수 있는 새로운 손실 함수를 설계할 수 있는가?
• RQ3 특히 평면 외부의 큰 머리 회전에 대해 발생하는 데이터 불균형은 모델 성능에 어떤 영향을 미치며, 이를 효과적으로 완화할 수 있는가?
• RQ4 이중 단계 프레임워크는 Wing loss를 사용한 단일 단계 모델을 넘어서 성능을 향상시킬 수 있는가?
• RQ5 Wing loss는 ResNet-50와 같은 더 깊은 모델을 포함한 다양한 딥 네트워크 아키텍처로 일반화 가능한가?

주요 결과

• 300W 데이터셋에서 Wing loss는 평균 정규화 오차(NME)를 3.60% (×10⁻²)로 줄여 이전 최신 기술 수준의 RAR 방법보다 약 20% 향상시켰다.
• AFLW-Full에서 ResNet-50와 Wing loss 조합은 NME 1.47% (×10⁻²)를 기록하여 CNN-6/7 기준보다 10% 향상된 성능을 달성했다.
• 제안된 자세 기반 데이터 균형 조정 전략은 특히 큰 평면 외부 머리 회전에 대해 어려운 자세에서 성능 향상에 기여했다.
• 이중 단계 프레임워크는 단일 단계 모델보다 더 높은 정확도를 달성하여 반복적 정밀 조정의 이점을 입증했다.
• Wing loss를 적용한 CNN-6/7 모델는 GPU에서 170 fps로 실행되어 대부분의 DNN 기반 방법보다 빠른 속도를 유지하면서도 고정확도를 확보했다.
• ResNet-50에 Wing loss를 적용한 결과, 테스트된 모든 손실 함수 중에서 가장 뛰어난 성능을 기록하여 깊은 네트워크에서의 효과를 확인했다.