[논문 리뷰] A Recurrent Encoder-Decoder Network for Sequential Face Alignment

Xi Peng, Rogério Feris외 2명|arXiv (Cornell University)|2016. 08. 19.

Face recognition and analysis참고 문헌 53인용 수 33

한 줄 요약

이 논문은 분리된 특징에서 공간적 순환 피드백과 시간적 순환 학습을 활용하여 실시간 영상 기반 얼굴 정렬을 위한 순환 인코더-디코더 네트워크를 제안한다. 이로 인해 정확도와 일반화 능력이 향상된다. 이는 300-VW 데이터셋에서 68점 설정 하에 도전적인 조건에서 평균 오차 5.43%의 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We propose a novel recurrent encoder-decoder network model for real-time video-based face alignment. Our proposed model predicts 2D facial point maps regularized by a regression loss, while uniquely exploiting recurrent learning at both spatial and temporal dimensions. At the spatial level, we add a feedback loop connection between the combined output response map and the input, in order to enable iterative coarse-to-fine face alignment using a single network model. At the temporal level, we first decouple the features in the bottleneck of the network into temporal-variant factors, such as pose and expression, and temporal-invariant factors, such as identity information. Temporal recurrent learning is then applied to the decoupled temporal-variant features, yielding better generalization and significantly more accurate results at test time. We perform a comprehensive experimental analysis, showing the importance of each component of our proposed model, as well as superior results over the state-of-the-art in standard datasets.

연구 동기 및 목표

• 큰 자세 변화와 가림 현상이 있는 어려운 영상 시나리오에서 정적 이미지 기반 얼굴 정렬 기법의 한계를 해결하기 위해.
• 장기적인 시간적 의존성을 모델링하여 순차적 얼굴 랜드마크 검출의 일반화 능력과 정확도를 향상시키기 위해.
• 공간적 순환 피드백을 활용해 단일 네트워크 내에서 반복적인 굵은-세밀한 정렬을 가능하게 하기 위해.
• 버퍼에서 시간에 따라 변하는(자세, 표정) 및 시간에 관계없는(신원) 특징을 분리하여 보다 효과적인 시간 모델링을 가능하게 하기 위해.

제안 방법

• 출력 응답 맵과 입력 사이에 피드백 루프를 도입하여 공간적 순환 학습을 가능하게 하여 단일 네트워크 내에서 반복적인 정밀 조정을 실현한다.
• 감독된 신원 분류 헤드를 사용하여 버퍼 내 특징을 시간에 따라 변하는 성분과 시간에 관계없는 성분으로 분리한다.
• 장기적인 운동 패턴을 영상 시퀀스에서 모델링하기 위해 시간에 따라 변하는 특징에 순환 신경망(LSTM)을 적용한다.
• 최종 2차원 얼굴 랜드마크 맵의 정규화를 위해 회귀 손실을 사용하여 국소화 정확도를 향상시킨다.
• 자동에코더, 신원 분류기, 순환 시간 모듈의 공동 최적화를 통해 엔드 투 엔드로 모델을 훈련시킨다.
• 공간적 및 시간적 반복 과정에서 파라미터 공유를 구현한 공유 인코더-디코더 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 단일 네트워크 내에서 공간적 순환 피드백을 적용하면 계단식 모델 대비 더 효과적으로 굵은-세밀한 얼굴 정렬을 모델링할 수 있는가?
• RQ2 버퍼 내 시간에 따라 변하는 특징과 시간에 관계없는 특징을 분리함으로써 영상 기반 얼굴 정렬의 일반화 능력이 향상되는가?
• RQ3 시간에 따라 변하는 특징에 순환 학습을 적용하면 표준 영상 모델링 대비 장거리 시간 의존성에 대해 더 높은 성능을 내는가?
• RQ4 감독된 신원 지도 정보의 포함 여부가 특징 분리와 테스트 시 정확도에 어떤 영향을 미치는가?
• RQ5 공간적 순환, 시간적 순환, 신원 분리 중 각 성분이 전체 성능에 기여하는 비율은 어떻게 되는가?

주요 결과

• 제안된 방법은 68점 평가 설정 하에 300-VW 데이터셋에서 평균 오차 5.43%를 기록하여 모든 최신 기술 수준의 방법들을 능가한다.
• 7점 설정에서 FM 데이터셋에서 3.17%의 최저 오차를 기록하여 도전적인 시퀀스에서도 뛰어난 성능을 입증한다.
• 감독된 신원 분리 지도를 포함한 경우 기준 모델 대비 테스트 정확도가 9% 향상된다.
• 신원 손실이 있는 경우, 단 10 에포크 만에 눈의 왼쪽 랜드마크에서 검증 정확도 84%를 달성하여 훈련 중 일반화 능력이 뛰어나다.
• 테슬라 K40 GPU에서 약 30ms의 프레임당 시간으로 실시간으로 작동하여 실질적 구현에 적합하다.
• 제거 실험 결과, 공간적 순환과 시간적 순환 모두 필수적이며 각각 성능 향상에 기여하는 바가 크다.