[논문 리뷰] LUVLi Face Alignment: Estimating Landmarks' Location, Uncertainty, and Visibility Likelihood

Abhinav Kumar, Tim K. Marks외 7명|arXiv (Cornell University)|2020. 04. 06.

Face recognition and analysis참고 문헌 87인용 수 13

한 줄 요약

이 논문은 얼굴 랜드마크 위치, 그들의 불확실성(다변량 정규분포 또는 라플라스 분포로 모델링), 그리고 가시성 확률(비가림, 자가 가림, 외부 가림)을 동시에 추정하는 엔드 투 엔드 딥러닝 프레임워크인 LUVLi를 제안한다. 매개변수 불확실성 모델 하에서 진도를 최대화하는 새로운 LUVLi 손실을 사용해 훈련함으로써, 이 방법은 최신 기술 수준의 랜드마크 정렬 정확도를 달성하며, 명시적 지도 학습 없이도 가림 여부를 구분할 수 있는 신뢰할 수 있는 불확실성 추정을 제공한다.

ABSTRACT

Modern face alignment methods have become quite accurate at predicting the locations of facial landmarks, but they do not typically estimate the uncertainty of their predicted locations nor predict whether landmarks are visible. In this paper, we present a novel framework for jointly predicting landmark locations, associated uncertainties of these predicted locations, and landmark visibilities. We model these as mixed random variables and estimate them using a deep network trained with our proposed Location, Uncertainty, and Visibility Likelihood (LUVLi) loss. In addition, we release an entirely new labeling of a large face alignment dataset with over 19,000 face images in a full range of head poses. Each face is manually labeled with the ground-truth locations of 68 landmarks, with the additional information of whether each landmark is unoccluded, self-occluded (due to extreme head poses), or externally occluded. Not only does our joint estimation yield accurate estimates of the uncertainty of predicted landmark locations, but it also yields state-of-the-art estimates for the landmark locations themselves on multiple standard face alignment datasets. Our method's estimates of the uncertainty of predicted landmark locations could be used to automatically identify input images on which face alignment fails, which can be critical for downstream tasks.

연구 동기 및 목표

• 최신 기술 수준의 얼굴 정합 방법에서 불확실성 및 가시성 추정의 부족을 해결하기 위해.
• 랜드마크 위치, 그들의 불확실성, 가시성 상태를 동시에 예측하는 통합 프레임워크를 개발하기 위해.
• 시스템이 신뢰할 수 없는 랜드마크 예측을 감지할 수 있도록 하여 안전이 중요한 응용 분야에서의 내성 강화를 위해.
• 68개 랜드마크에 대해 세밀한 가시성 주석을 제공하는 새로운 대규모 얼굴 정합 데이터셋을 공개하기 위해.
• 가림 여부에 대해 명시적 지도 학습 없이도 불확실성 추정을 엔드 투 엔드로 학습할 수 있는지 입증하기 위해.

제안 방법

• 랜드마크 위치의 히트맵을 예측하기 위해 다중 시간대 모듈을 갖춘 U-Net 기반 백본을 사용한다.
• 랜드마크 위치는 argmax가 아니라 ReLU 활성화된 히트맵 값의 공간 평균으로 추정하여, 미분 가능한 회귀를 가능하게 한다.
• 공분산 행렬의 코レス키 분해를 회귀하는 Cholesky Estimator Network (CEN) 브랜치를 도입한다.
• 각 랜드마크에 대해 이진 또는 다중 클래스 확률로 가시성 확률을 예측하는 Visibility Estimator Network (VEN)을 설계한다.
• 매개변수 불확실성 모델을 기반으로 랜드마크 위치 정확도, 불확실성 진도, 가시성 예측을 동시에 최적화하는 LUVLi 손실 함수를 정의한다.
• 예측된 불확실성 분포 하에서 진도를 최대화하는 미분 가능한 손실을 사용해 프레임워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 랜드마크 위치, 불확실성, 가시성의 동시 추정이 얼굴 정합의 내성 향상에 기여하는가?
• RQ2 정규분포 또는 라플라스 분포로 매개변수화된 불확실성 추정이 직접 회귀보다 더 나은 불확실성 정량화를 이끌어내는가?
• RQ3 명시적 가림 지도 학습 없이도 불확실성 추정이 비가림 랜드마크와 외부 가림 랜드마크를 자동으로 구분할 수 있는가?
• RQ4 ReLU 활성화된 히트맵의 공간 평균을 사용하는 것과 argmax를 사용하는 것 간의 랜드마크 정렬 정확도 및 미분 가능성에서의 성능 비교는 어떠한가?
• RQ5 가시성 예측이 도전적인 자세 조건 하에서 랜드마크 정렬의 신뢰성 향상에 얼마나 기여하는가?

주요 결과

• LUVLi 모델은 여러 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 300W(Split 2)에서 2.10%의 NME, Menpo에서 2.04%의 NME를 기록하였다.
• 명시적 가림 지도 학습 없이도 외부 가림 랜드마크의 경우 평균 |Σ|₀.⁵ = 34.41로 불확실성 추정이 비가림 랜드마크(9.28)보다 유의미하게 높게 나타났다.
• LUVLi 손실에서 라플라스 진도를 사용할 경우 정규분포 진도보다 성능이 뛰어나 Menpo에서 AUC 71.9%를 기록하였으며(정규분포 대비 70.2%), 성능 향상이 확인되었다.
• argmax를 ReLU 활성화된 히트맵의 공간 평균으로 대체함으로써 직접 회귀 대비 NME에서 2.2% 향상된 성능을 기록하였다.
• 300W-LP-2D에서 사전 학습된 가중치를 사용해 미세조정을 수행하는 것이, 무작위 초기화에서 훈련하는 것보다 더 우수한 성능을 내었다.
• U-net의 수를 8개에서 4개로 줄임으로써 추론 속도는 약 2배 향상되었고, 성능 저하도 최소한도로 유지되었다.