[논문 리뷰] Effective face landmark localization via single deep network

Zongping Deng, Ke Li외 3명|arXiv (Cornell University)|2017. 02. 09.

Face recognition and analysis인용 수 10

한 줄 요약

이 논문은 표준 CNN 아키텍처를 삼중 3층 그룹(각각 두 개의 합성곱 레이어와 맥스 풀링 레이어로 구성)의 스택으로 대체하여 계층적으로 특징을 추출하는 단일 딥 네트워크(SDN)를 제안한다. 제안된 새로운 데이터 증강 전략과 훈련 기법을 통해, 제한된 훈련 데이터 조건에서도 COFW 및 300-W 데이터셋에서 최신 기술 수준(SOTA)의 정확도와 속도를 달성한다.

ABSTRACT

In this paper, we propose a novel face alignment method using single deep network (SDN) on existing limited training data. Rather than using a max-pooling layer followed one convolutional layer in typical convolutional neural networks (CNN), SDN adopts a stack of 3 layer groups instead. Each group layer contains two convolutional layers and a max-pooling layer, which can extract the features hierarchically. Moreover, an effective data augmentation strategy and corresponding training skills are also proposed to over-come the lack of training images on COFW and 300-W da-tasets. The experiment results show that our method outper-forms state-of-the-art methods in both detection accuracy and speed.

연구 동기 및 목표

• 제한된 훈련 데이터에서 얼굴 랜드마크 정렬 문제를 해결하기 위해 더 효과적인 딥 러닝 접근법을 개발하는 것.
• 기존의 CNN 기반 얼굴 정렬 방법과 비교해 정확도 향상과 추론 속도 향상을 달성하는 것.
• COFW 및 300-W 데이터셋에서의 데이터 부족 문제를 효과적인 데이터 증강 및 훈련 전략을 통해 극복하는 것.
• 맥스 풀링 후 단일 합성곱 레이어에 의존하지 않고 계층적으로 얼굴 특징을 캡처할 수 있는 딥 네트워크 아키텍처를 설계하는 것.

제안 방법

• 제안된 SDN은 표준 CNN 블록을 삼중 3층 그룹의 스택으로 대체하며, 각 그룹은 두 개의 합성곱 레이어와 맥스 풀링 레이어로 구성된다.
• 각 레이어 그룹은 저수준에서 고수준에 이르는 얼굴 표현을 점진적으로 캡처함으로써 계층적 특징 추출을 가능하게 한다.
• COFW 및 300-W 데이터셋에서 일반화 성능을 향상시키기 위해 인위적으로 훈련 데이터를 확장하는 맞춤형 데이터 증강 전략을 도입한다.
• 데이터 부족 조건에서도 최적화의 안정성과 모델 수렴 성능을 향상시키기 위해 전문화된 훈련 기법을 적용한다.
• 입력 이미지에서 직접 68개의 얼굴 키포인트 좌표를 예측할 수 있도록 엔드 투 엔드 방식으로 네트워크를 훈련시킨다.
• 제한된 실제 샘플 조건에서도 계층적 특징 학습과 증강된 데이터를 활용해 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 제한된 훈련 데이터 조건에서 기존의 다단계 또는 다경로 CNN보다 단일 딥 네트워크 아키텍처가 얼굴 랜드마크 정렬에서 더 우수한 성능을 낼 수 있는가?
• RQ2 표준 CNN 블록과 비교해 스택형 3층 그룹 설계가 계층적 얼굴 특징을 얼마나 효과적으로 캡처하는가?
• RQ3 데이터 증강 및 전문화된 훈련 기법이 COFW 및 300-W와 같은 소규모 얼굴 랜드마크 데이터셋에서 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법이 최신 기술 수준(SOTA) 접근법보다 더 높은 정확도와 더 빠른 추론 속도를 동시에 확보할 수 있는가?

주요 결과

• SDN 방법은 검출 정확도 측면에서 COFW 및 300-W 기준 평가 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 모델은 뛰어난 추론 속도를 보이며 실시간 응용에 적합하다.
• 제안된 데이터 증강 및 훈련 전략은 제한된 훈련 데이터에서 과적합을 효과적으로 완화한다.
• 스택형 레이어 그룹을 통한 계층적 특징 추출은 표준 CNN 아키텍처에 비해 랜드마크 정렬 정밀도를 향상시킨다.
• COFW 데이터셋에서 평균 오차와 실패율 측면에서 기존의 최신 기술 수준(SOTA) 방법을 모두 능가한다.