[논문 리뷰] Unconstrained Facial Landmark Localization with Backbone-Branches Fully-Convolutional Networks

Zhujin Liang, Shengyong Ding외 1명|arXiv (Cornell University)|2015. 07. 13.

Face recognition and analysis참고 문헌 19인용 수 34

한 줄 요약

이 논문은 원시 이미지에서 사전 처리 또는 슬라이딩 윈도우 없이 직접 얼굴 랜드마크 반응 맵을 회귀하는 백본-브랜치를 갖춘 풀 컨볼루션 네트워크 BB-FCN을 제안한다. 공통 백본을 통해 군집 검출을 수행하고, 국소 특징 맵을 통해 전용 브랜치로 정밀 조정을 수행함으로써, 제약 조건이 없는 환경에서도 최신 기술 수준의 정확도를 달성하면서 효율적인 엔드 투 엔드 추론을 유지한다.

ABSTRACT

This paper investigates how to rapidly and accurately localize facial landmarks in unconstrained, cluttered environments rather than in the well segmented face images. We present a novel Backbone-Branches Fully-Convolutional Neural Network (BB-FCN), which produces facial landmark response maps directly from raw images without relying on pre-process or sliding window approaches. BB-FCN contains one backbone and a number of network branches with each corresponding to one landmark type, and it operates in a progressive manner. Specifically, the backbone roughly detects the locations of facial landmarks by taking the whole image as input, and the branches further refine the localizations based on a local observation from the backbone's intermediate feature map. Moreover, our backbone-branches architecture does not contain full-connection layers for location regression, leading to efficient learning and inference. Our extensive experiments show that our model achieves superior performances over other state-of-the-arts under both the constrained (i.e. with face regions) and the "in the wild" scenarios.

연구 동기 및 목표

• 기존 방법이 얼굴 분할이 불량하여 실패하는 제약 조건이 없는, 혼잡한 환경에서 정확한 얼굴 랜드마크 국소화 문제를 해결하기 위해.
• 추론 속도와 강인성을 향상시키기 위해 얼굴 검출 또는 슬라이딩 윈도우 기법과 같은 사전 처리 단계에 의존하지 않도록 하기 위해.
• 중간 백본 레이어에서 유도된 국소 특징 맵을 사용해 랜드마크 위치를 점진적으로 정밀 조정할 수 있는 딥 러닝 아키텍처를 개발하기 위해.
• 제약 조건이 있는(얼굴가로잡힌) 및 제약 조건이 없는('와일드'한) 얼굴 랜드마크 국소화 시나리오 모두에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 공통 백본과 다수의 작업 전용 브랜치를 갖춘 백본-브랜치 풀 컨볼루션 네트워크(BB-FCN)를 설계하며, 각 브랜치는 하나의 얼굴 랜드마크 전용이다.
• 백본을 사용해 전체 입력 이미지를 처리하고, 초도 랜드마크 추정을 위한 전역 특징 맵을 생성한다.
• 예측된 랜드마크 위치 주변의 백본 중간 특징 맵에서 국소 특징 패치를 추출한다.
• 완전 연결 층을 피하기 위해, 국소 관측치를 사용해 반응 맵을 회귀하는 전용 브랜치를 통해 랜드마크 위치를 정밀 조정한다.
• 랜드마크 국소화 정확도를 최적화하기 위해 공동 손실 함수를 사용해 전체 네트워크를 엔드 투 엔드로 훈련한다.
• 완전 연결 층을 피하고 풀 컨볼루션 아키텍처를 활용함으로써 파rameter 효율성과 빠른 추론을 확보한다.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 볼 때, 풀 컨볼루션 백본-브랜치 아키텍처가 제약 조건이 없는 환경에서 뛰어난 랜드마크 국소화 정확도를 달성할 수 있는가?
• RQ2 중간 백본 레이어에서 유도된 국소 특징 맵을 통한 점진적 정밀 조정이 국소화 정밀도를 어떻게 향상시키는가?
• RQ3 사전 처리 및 슬라이딩 윈도우 접근 방식을 제거함으로써 추론 속도와 강인성이 얼마나 향상되는가?
• RQ4 제안된 BB-FCN 아키텍처가 제약 조건이 있는 경우와 '와일드'한 얼굴 이미지 시나리오 모두에 잘 일반화되는가?

주요 결과

• BB-FCN 모델은 제약 조건이 있는 및 제약 조건이 없는 얼굴 랜드마크 국소화 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 완전 연결 층이 없기 때문에 더 빠른 훈련과 추론이 가능하면서도 높은 정확도를 유지한다.
• 중간 백본 레이어의 국소 특징 맵을 사용한 점진적 정밀 조정 메커니즘이 전역 특징만을 사용하는 경우에 비해 국소화 정밀도를 크게 향상시킨다.
• 얼굴 검출 또는 이미지 사전 처리 단계 없이도 '와일드' 이미지에 대해 효과적으로 일반화된다.