[논문 리뷰] Adaptive Wing Loss for Robust Face Alignment via Heatmap Regression

Xinyao Wang, Liefeng Bo외 1명|arXiv (Cornell University)|2019. 04. 16.

Face recognition and analysis참고 문헌 71인용 수 41

한 줄 요약

적응형 윙 손실(AWing)을 얼굴 정렬의 히트맵 회귀에 도입하고, 가중치 손실 맵 및 경계 정보를 포함한 CoordConv로 랜드마크 위치 추정 향상; COFW, 300W, WFLW 데이터셋에서 최첨단 성능 달성.

ABSTRACT

Heatmap regression with a deep network has become one of the mainstream approaches to localize facial landmarks. However, the loss function for heatmap regression is rarely studied. In this paper, we analyze the ideal loss function properties for heatmap regression in face alignment problems. Then we propose a novel loss function, named Adaptive Wing loss, that is able to adapt its shape to different types of ground truth heatmap pixels. This adaptability penalizes loss more on foreground pixels while less on background pixels. To address the imbalance between foreground and background pixels, we also propose Weighted Loss Map, which assigns high weights on foreground and difficult background pixels to help training process focus more on pixels that are crucial to landmark localization. To further improve face alignment accuracy, we introduce boundary prediction and CoordConv with boundary coordinates. Extensive experiments on different benchmarks, including COFW, 300W and WFLW, show our approach outperforms the state-of-the-art by a significant margin on various evaluation metrics. Besides, the Adaptive Wing loss also helps other heatmap regression tasks. Code will be made publicly available at https://github.com/protossw512/AdaptiveWingLoss.

연구 동기 및 목표

• 얼굴 특징점 위치 추정에서 히트맵 회귀를 위한 손실 함수의 동기 부여 및 분석.
• ground-truth 픽셀 강도에 맞춰 foreground 및 어려운 배경 픽셀에 초점을 맞추는 적응형 비선형 영역을 가진 Adaptive Wing 손실(AWing) 정의.
• 학습 중 foreground와 background 픽셀 기여를 균형 있게 조정하는 Weighted Loss Map 도입.
• 경계 정보를 통합하고 경계 좌표를 포함하는 CoordConv를 통해 좌표 인식 학습을 개선.
• 표준 벤치마크에서 최첨단 성능을 시연하고 관련 히트맵 회귀 작업으로의 전달 가능성 검증+

제안 방법

• 히트맵 회귀에 대한 이상적인 손실 특성을 영향력(Influence) 도형 및 ground-truth 픽셀 강도를 사용하여 분석.
• 매개변수(omega, theta, epsilon, alpha)에 의해 제어되는 적응형 비선형 영역과 선형 영역으로의 부드러운 전이로 AWing(AWing) 손실 정의.
• 전경(foreground)과 어려운 배경 픽셀을 강조하기 위해 dilation된 ground-truth 히트맵을 사용하는 가중 손실 맵(가중치 W) 도입.
• 전역 경계 정보를 포착하기 위한 보조 경계 예측 채널을 추가하고, 경계 인코딩 좌표(B_x, B_y)와 함께 CoordConv로 융합하여 랜드마크 위치 추정을 향상.
• 좌표 인코딩 및 경계 인식 채널을 갖춘 스택형 Hourglass(HG) 백본을 활용; RMSProp 및 일반 데이터 증가를 사용한 학습; COFW, 300W, WFLW에서 평가+

실험 결과

연구 질문

• RQ1 ground-truth 히트맵 픽셀 값에 따라 곡률이 적응하는 손실 함수가 얼굴 특징점의 히트맵 회귀를 향상시킬 수 있는가?
• RQ2 가중 손실 맵을 통해 foreground와 어려운 배경 픽셀의 균형 조정이 수렴 및 위치 추정 정확도를 높이는가?
• RQ3 경계 정보 및 CoordConv 인코딩을 도입하면 특징점 위치 추정 정확도가 향상되는가?
• RQ4 제안된 Adaptive Wing 손실이 기존 방법에 비해 표준 얼굴 정렬 벤치마크에서 어떤 성능을 보이는가?
• RQ5 Adaptive Wing 손실이 사람 자세 추정과 같은 다른 히트맵 회귀 작업에 유익한가?

주요 결과

• AWing 손실은 히트맵 회귀 품질과 특징점 위치 추정을 개선하여 COFW, 300W, WFLW 데이터셋에서 기존 방법을 능가한다.
• COFW에서 10% NME 실패율을 3.73%에서 0.99%로 감소시킨다.
• 300W에서 AWing은 일반, 도전적, 전체 테스트 세트에서 최첨단 성능을 달성하며 현저히 낮은 NME와 높은 AUC 지표를 보인다.
• WFLW에서 AWing은 하위집합 전반에서 최상의 결과를 제공하고 실패율을 크게 줄이며 AUC를 증가시킨다; 전반적인 NME 및 AUC 개선이 크다.
• Adaptive Wing 손실은 인간 자세 추정 작업(LSP)에서도 MSE 기준선에 비해 PCK@0.2를 향상시키는 이점을 보여준다.
• 아블레이션 연구에서 AW + Weighted Loss Map + Boundary 통합 + CoordConv + 경계 좌표의 조합이 점진적인 이득을 보여주며, 단독 AW만도 가장 큰 개선을 기여한다.