[논문 리뷰] Look at Boundary: A Boundary-Aware Face Alignment Algorithm

Wayne Wu, Chen Qian외 4명|arXiv (Cornell University)|2018. 05. 26.

Face recognition and analysis참고 문헌 57인용 수 28

한 줄 요약

이 논문은 얼굴 경계선을 기하학적 구조로 사용하여 임베딩 정확도를 향상시키는 경계 인식 얼굴 정렬 알고리즘을 제안한다. 깊이 신경망에서 다중 스테이지에 걸쳐 경계 히트맵을 추정하고 융합함으로써, 300-W Fullset에서 평균 오차를 3.49%로 줄이고, AFLW-Full에서 1.25%로 낮추어 최신 기술 수준을 달성한다. 또한 다양한 조건에서 통합 평가가 가능한 새로운 벤치마크 데이터셋 WFLW를 제안한다.

ABSTRACT

We present a novel boundary-aware face alignment algorithm by utilising boundary lines as the geometric structure of a human face to help facial landmark localisation. Unlike the conventional heatmap based method and regression based method, our approach derives face landmarks from boundary lines which remove the ambiguities in the landmark definition. Three questions are explored and answered by this work: 1. Why using boundary? 2. How to use boundary? 3. What is the relationship between boundary estimation and landmarks localisation? Our boundary- aware face alignment algorithm achieves 3.49% mean error on 300-W Fullset, which outperforms state-of-the-art methods by a large margin. Our method can also easily integrate information from other datasets. By utilising boundary information of 300-W dataset, our method achieves 3.92% mean error with 0.39% failure rate on COFW dataset, and 1.25% mean error on AFLW-Full dataset. Moreover, we propose a new dataset WFLW to unify training and testing across different factors, including poses, expressions, illuminations, makeups, occlusions, and blurriness. Dataset and model will be publicly available at https://wywu.github.io/projects/LAB/LAB.html

연구 동기 및 목표

• 다양한 데이터셋 간 얼굴 랜드마크 애너테이션의 모호성과 일관성 부족 문제를 해결하기 위해, 랜드마크의 수와 정의가 다양하게 설정된 문제를 다루기 위함이다.
• 명확하게 정의된 얼굴 경계선을 기하학적 사전 지식으로 활용하여, 큰 자세 변화, 가림, 외형 변화에 대한 강건성을 향상시키기 위함이다.
• 자세, 표정, 조도, 메이크업, 가림, 흐림 등의 다양한 요소를 통합 평가할 수 있도록 새로운 대규모 벤치마크를 통해 평가 기준을 통일하기 위함이다.
• 경계 추정, 랜드마크 회귀, 경계 효율성의 공동 최적화를 가능하게 하는 강력한 엔드 투 엔드 학습 프레임워크를 구축하기 위함이다.

제안 방법

• 메시지 전달 기능을 갖춘 스택드 아워글래스 네트워크를 사용하여 얼굴 경계 히트맵을 추정함으로써, 가림에 대한 강건성을 향상시킨다.
• 랜드마크 회귀 네트워크의 다중 스테이지에서 경계 히트맵을 융합하여 특징 학습을 풍부화하고 정확도를 향상시킨다.
• 랜드마크 기반 경계 효율성 판별자와 함께 적대적 학습 기반 기법을 도입하여 경계 히트맵 품질을 개선한다.
• 다양한 데이터셋에서 유도된 13개의 경계선을 활용하여 얼굴 구조를 모델링함으로써, 애너테이션 체계 간 일관성을 확보한다.
• 다단계 융합 전략을 통해 경계 정보를 구조적 단서로 통합하여, 점진적으로 랜드마크 예측 성능을 향상시킨다.
• 경계 추정기, 랜드마크 회귀기, 판별기를 엔드 투 엔드 방식으로 공동으로 학습시켜 최적의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 왜 얼굴 정렬에 직접 랜드마크를 사용하는 대신 얼굴 경계선을 사용하는가?
• RQ2 깊이 신경망 프레임워크에 경계 정보를 효과적으로 통합하여 랜드마크 정렬에 활용할 수 있는 방법은 무엇인가?
• RQ3 추정된 경계 히트맵의 품질과 최종 랜드마크 예측 정확도 사이의 관계는 어떠한가?
• RQ4 네트워크의 다중 스테이지에서 경계를 융합함으로써 성능에 어떤 영향을 미치는가?
• RQ5 경계 기반의 감독이 다양한 실제 환경의 얼굴 변화에 대한 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 300-W Fullset에서 평균 오차 3.49%를 기록하여 이전 최신 기술 수준의 방법들을 뛰어넘는 성능을 달성한다.
• COFW 데이터셋에서 랜드마크 오류율은 0.39%로 평균 오차 3.92%를 기록하여 가림에 대한 강건성을 입증한다.
• AFLW-Full 데이터셋에서 평균 오차는 1.25%로 다양한 조건 하에서도 높은 정확도를 보여준다.
• 랜드마크 회귀 네트워크의 네 단계 전부에서 경계 히트맵 융합을 통해 평균 오차가 7.12%에서 6.13%로 감소하여 깊이 있는 융합이 일관되게 성능 향상에 기여함을 확인한다.
• WFLW 데이터셋의 가림 서브셋에서 경계 특징 간 메시지 전달 기법을 적용함으로써 평균 오차가 11% 이상 감소하여 심각한 가림 상황에서도 효과적임을 입증한다.
• 랜드마크 기반 판별자를 활용한 적대적 학습을 통해 300-W 어려운 셋에서 오류율을 5.19%에서 3.70%로 감소시켜 경계 품질이 최종 성능에 미치는 가치를 확인한다.