[논문 리뷰] Deep Cascaded Regression for Face Alignment

Hanjiang Lai, Shengtao Xiao외 4명|arXiv (Cornell University)|2015. 10. 30.

Face recognition and analysis참고 문헌 44인용 수 19

한 줄 요약

이 논문은 얼굴 정합을 위한 고도로 구분 가능한 형태-색인 특징을 학습하기 위해 CNN을 사용하는 엔드 투 엔드 딥 캐스케이드드 리그리션 프레임워크를 제안한다. 딥 특징 학습을 형태-색인 풀링 및 초기화를 위한 확률 마스크와 통합함으로써, 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a novel cascaded regression framework for face alignment based on a deep convolutional neural network (CNN). In most existing cascaded regression methods, the shape-indexed features are either obtained by hand-crafted visual descriptors or by leaning from the shallow models. This setting may be suboptimal for the face alignment task. To solve this problem, we propose an end-to-end CNN architecture to learn highly discriminative shape-indexed features. First, our deep architecture encodes the image into high-level feature maps in the same size of the image via three main operations: convolution, pooling and deconvolution. Then, we propose Shape-Indexed Pooling to extract the deep features from these high level descriptors. We refine the shape via sequential regressions by using the deep shape-indexed features, which demonstrates outstanding performance. We also propose to learn the probability mask for each landmark that can be used to choose the initialization from the shape space. Extensive evaluations conducted on several benchmark datasets demonstrate that the proposed deep framework shows significant improvement over the state-of-the-art methods.

연구 동기 및 목표

• 기존의 캐스케이드드 리그리션 방법에서 사용하는 수작업 또는 浅층 학습된 형태-색인 특징의 열악한 성능을 극복하기 위해.
• 이미지 표현과 형태 정밀화를 동시에 학습하는 엔드 투 엔드 딥 러닝 아키텍처를 개발하기 위해.
• 형태-색인 풀링을 통한 공간적으로 인지 가능한 특징 학습을 통해 랜드마크 정위치 정확도를 향상시키기 위해.
• 형태 공간 내 각 랜드마크에 대한 확률 마스크를 학습하여 초기화의 강건성을 향상시키기 위해.

제안 방법

• 입력 이미지 크기와 일치하는 고수준 특징 맵을 생성하기 위해 합성곱, 풀링, 디컨벌로션을 사용하는 딥 CNN 아키텍처 설계.
• 현재 형태 추정에 특화된 고수준 기술자에서 딥 특징을 추출하기 위해 형태-색인 풀링 도입.
• 딥 형태-색인 특징를 순차적으로 회귀에 적용하여 얼굴 랜드마크 좌표를 반복적으로 정밀화.
• 각 랜드마크에 대한 확률 마스크를 학습하여 형태 공간에서의 초기화를 안내함으로써 수렴성과 강건성을 향상.
• 특징 학습과 형태 회귀를 동시에 최적화하기 위해 전체 네트워크를 엔드 투 엔드로 훈련.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 특징 학습은 수작업 또는 얕은 특징에 비해 형태-색인 특징 표현을 얼굴 정합에서 어떻게 향상시키는가?
• RQ2 딥 CNN 아키텍처에 형태-색인 풀링을 통합할 경우 랜드마크 정위치 정확도에 어떤 영향을 미치는가?
• RQ3 랜드마크에 대한 확률 마스크를 학습함으로써 초기화 및 전체 정합 성능에 얼마나 큰 영향을 미치는가?
• RQ4 제안된 딥 특징을 사용하는 캐스케이드드 리그리션 프레임워크는 표준 기준 데이터셋에서 최신 기술 수준의 방법들을 능가하는가?

주요 결과

• 제안된 딥 캐스케이드드 리그리션 프레임워크는 다양한 기준 데이터셋에서 기존 최신 기술 수준의 방법들보다 뚜렷한 성능 향상을 달성한다.
• 엔드 투 엔드 딥 특징 학습과 형태-색인 풀링의 통합은 더 구분력 있고 공간적으로 정확한 랜드마크 표현을 가능하게 한다.
• 랜드마크 초기화를 위한 학습된 확률 마스크의 사용은 회귀 과정에서의 수렴성과 강건성을 향상시킨다.
• 광범위한 평가 결과는 본 방법의 정합 정확도에서의 열등함을 확인하며, 다양한 데이터셋에서 일관된 성능 향상을 보여준다.