[논문 리뷰] Deep Regression for Face Alignment

Baoguang Shi, Xiang Bai외 2명|arXiv (Cornell University)|2014. 09. 18.

Face recognition and analysis참고 문헌 29인용 수 23

한 줄 요약

이 논문은 딥 레귤레이션(DeepReg)을 제안하며, 드롭아웃을 사용한 역전파를 통해 글로벌 리그레서와 다단계 로컬 리그레서를 동시에 최적화함으로써 얼굴 랜드마크 예측의 균형 잡힌 점진적 개선을 가능하게 하는 딥 리그레션 프레임워크이다. 순차적 캐스케이드 방법에서 흔히 발생하는 초기 단계의 강력한 리그레서와 후기 단계의 약한 리그레서 간의 불균형을 피함으로써 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we present a deep regression approach for face alignment. The deep architecture consists of a global layer and multi-stage local layers. We apply the back-propagation algorithm with the dropout strategy to jointly optimize the regression parameters. We show that the resulting deep regressor gradually and evenly approaches the true facial landmarks stage by stage, avoiding the tendency to yield over-strong early stage regressors while over-weak later stage regressors. Experimental results show that our approach achieves the state-of-the-art

연구 동기 및 목표

• 순차적 캐스케이드 리그레션에서 초기 단계가 지나치게 강력하고 후기 단계가 성능이 떨어지는 불균형 문제를 해결하기 위해.
• 자세, 표정, 조명 변화와 같은 통제되지 않은 조건 하에서 얼굴 랜드마크 정렬 정확도를 향상시키기 위해.
• 모든 단계를 별도로 순차적으로 훈련하는 것이 아니라 동시에 최적화하는 딥 리그레션 아키텍처를 개발하기 위해.
• 모든 리그레션 단계에서 편향과 분산을 균형 있게 조절함으로써 벤치마크 데이터셋에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 네트워크 아키텍처는 초기 형태 추정을 위한 글로벌 레이어와 반복적 개선을 위한 T개의 로컬 레이어로 구성된다.
• 글로벌 레이어는 글로벌 이미지 특징을 사용하여 선형 회귀를 통해 초깃형태를 예측한다.
• 각 로컬 레이어는 각 랜드마크 주변의 형태 색인 기반 로컬 특징을 추출하고, 선형 리그레서를 적용하여 형태 증분을 예측한다.
• 형태 추정은 반복적으로 업데이트된다: $\mathbf{s}^{t} = \mathbf{s}^{t-1} + \mathbf{W}^{t}\boldsymbol{\upphi}^{t}$, 여기서 $\boldsymbol{\upphi}^{t}$는 로컬 특징 벡터이다.
• 모든 리그레션 파라미터는 오버피팅을 방지하고 일반화 성능을 향상시키기 위해 드롭아웃을 적용한 역전파를 사용해 공동 최적화된다.
• 모든 단계를 동시에 학습함으로써 순차적 훈련을 피하고, 모든 단계에서 균형 잡힌 기여를 확보한다.

실험 결과

연구 질문

• RQ1 공동 최적화된 딥 리그레서가 얼굴 정렬에서 순차적 캐스케이드 리그레션보다 성능 향상을 이룰 수 있는가?
• RQ2 공동으로 훈련된 딥 리그레서가 초기 단계의 강력함과 후기 단계의 약화 사이의 불균형을 줄일 수 있는가?
• RQ3 글로벌 리그레서의 포함 여부가 다단계 얼굴 정렬에서 초기화와 최종 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 300-W와 LFPW와 같은 표준 벤치마크에서 기존 최신 기술 수준의 접근법을 초월할 수 있는가?
• RQ5 공동 훈련이 모든 단계에서 동시에 편향과 분산을 얼마나 줄이는가?

주요 결과

• 300-W Common 서브셋에서 DeepReg는 평균 오차 6.31을 기록하여 SequentialReg(6.57)와 DeepRegLocal(6.57)를 모두 능가한다.
• 300-W Fullset에서 DeepReg는 평균 오차 4.51을 기록하여 SequentialReg(4.67)와 DeepRegLocal(4.67)를 모두 능가한다.
• LFPW 데이터셋에서 DeepReg는 평균 오차 5.11을 기록하여 SequentialReg(5.11)와 DeepRegLocal(5.11)를 능가하지만, LBF보다는 略적으로 떨어진다.
• 단계별 오차 곡선은 공동 학습 시 초기 단계의 급격한 감소와 후기 단계의 정체 현상이 없는 점진적이고 균일한 오차 감소를 보이며, 순차적 학습과 대비된다.
• 실증 분석을 통해 공동 최적화가 모든 단계에서 편향과 분산을 더 균일하게 감소시켜 전체 성능 향상에 기여하는 것으로 확인되었다.
• 글로벌 리그레서는 초기화를 크게 향상시켜 DeepRegLocal(평균 형태를 초기화로 사용)보다 DeepReg의 우수성을 기여한다.