[논문 리뷰] KEPLER: Keypoint and Pose Estimation of Unconstrained Faces by Learning Efficient H-CNN Regressors

Amit Kumar, Azadeh Alavi외 1명|arXiv (Cornell University)|2017. 02. 16.

Face recognition and analysis참고 문헌 3인용 수 6

한 줄 요약

KEPLER는 새로운 채널화된 인셉션 H-CNN 아키텍처를 사용한 반복적이고 계층적인 회귀 프레임워크를 제안하여 비구속적인 얼굴 이미지에서 얼굴 키포인트 위치와 3D 자세(피치, 요, 롤)를 추정한다. 다섯 번의 반복 동안 가시성, 키포인트, 3D 자세를 동시에 회귀함으로써 AFLW 및 AFW 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, AFLW-Allvariants에서 평균 오차는 2.35px, 3D 자세 추정에서는 평균 오차 6.45°를 기록하였다.

ABSTRACT

Keypoint detection is one of the most important pre-processing steps in tasks such as face modeling, recognition and verification. In this paper, we present an iterative method for Keypoint Estimation and Pose prediction of unconstrained faces by Learning Efficient H-CNN Regressors (KEPLER) for addressing the face alignment problem. Recent state of the art methods have shown improvements in face keypoint detection by employing Convolution Neural Networks (CNNs). Although a simple feed forward neural network can learn the mapping between input and output spaces, it cannot learn the inherent structural dependencies. We present a novel architecture called H-CNN (Heatmap-CNN) which captures structured global and local features and thus favors accurate keypoint detecion. HCNN is jointly trained on the visibility, fiducials and 3D-pose of the face. As the iterations proceed, the error decreases making the gradients small and thus requiring efficient training of DCNNs to mitigate this. KEPLER performs global corrections in pose and fiducials for the first four iterations followed by local corrections in the subsequent stage. As a by-product, KEPLER also provides 3D pose (pitch, yaw and roll) of the face accurately. In this paper, we show that without using any 3D information, KEPLER outperforms state of the art methods for alignment on challenging datasets such as AFW and AFLW.

연구 동기 및 목표

• 고정된 점 모델이 실패하는 비구속적이고, 오염된 얼굴 이미지에서 정확한 얼굴 키포인트 위치 추정의 과제를 해결한다.
• 고정된 아키텍처의 회귀기의 한계를 극복하기 위해 사전 자세 가정 없이도 임의의 얼굴 형태에 대해 계층적 회귀를 가능하게 한다.
• 키포인트 추정 파이프라인의 부산물로 3D 얼굴 자세(피치, 요, 롤)와 키포인트 가시성을 동시에 예측한다.
• 오차 감소로 인해 기울기 감소 현상이 발생하는 후반 단계에서 학습 효율을 향상시키기 위해 단계별로 적응형 학습 정책을 도입한다.
• 다양한 자세와 표정 변화를 포함하는 AFLW에 대한 새로운 평가 프로토콜을 도입하여 현실성과 도전도를 향상시킨다.

제안 방법

• GoogLeNet의 인셉션 모듈을 영감으로 삼았지만 채널 단위로 특징을 융합하는 새로운 채널화된 인셉션 H-CNN 아키텍처를 제안하여 중간 레이어의 특징을 풀링하고 연결한다.
• 각 단계에서 68개의 키포인트에 대한 누적 오프셋을 예측하면서 형태 일관성을 유지하는 반복적 계층적 회귀 프레임워크를 설계한다.
• 다중 작업 손실을 사용하여 H-CNN을 동시에 세 가지 작업—키포인트 가시성 신뢰도, 2D 키포인트 좌표, 3D 자세(피치, 요, 롤)에 대해 훈련한다.
• 오차 감소로 인해 기울기가 감소하는 후반 단계에서 기울기 감소 현상을 고려해 각 반복 단계에 다른 학습 정책을 적용한다.
• 고정된 점 통합 기법을 [9]의 영감을 받아 도입하여 특징점 추정의 안정성과 수렴 성능을 향상시킨다.
• 최종 단계에서 데이터셋 간의 경계 상자 불일치를 보완하기 위해 활용하며, 특히 비균일한 앵커판정을 가진 AFW에서 효과적이다.

실험 결과

연구 질문

• RQ1 사전 자세 가정 없이도 고정된 형태의 모델이 실패하는 비구속적인 얼굴에 대해 계층적 회귀를 효과적으로 적용할 수 있는가?
• RQ2 깊이 있는 H-CNN 아키텍처가 키포인트 위치, 가시성, 3D 자세를 동시에 회귀하면서도 구조적 일관성을 유지할 수 있는가?
• RQ3 단계별로 적응형 학습 정책을 적용한 반복적 개선이 기울기가 감소하는 영역에서 수렴성과 정확도를 향상시키는가?
• RQ4 다양한 경계 상자 앵커판정과 오염 수준을 가진 데이터셋 간에 일반화 성능을 확보할 수 있는가?
• RQ5 가시성과 3D 자세를 동시에 다중 작업 학습으로 예측함으로써 키포인트 위치 추정 성능이 얼마나 향상되는가?

주요 결과

• KEPLER는 AFLW-Allvariants 프로토콜에서 평균 절대 오차(MAE) 2.35px를 기록하여 이전 최신 기술 수준의 모든 방법들을 능가한다.
• AFW 데이터셋에서 KEPLER는 3.01px의 MAE를 기록하여 CCL에 이어 두 번째로 높은 성능을 보였으며, 다섯 번째 반복 단계를 사용할 경우 성능 향상률이 60%에 이르렀다.
• KEPLER는 AFLW 테스트 세트에서 3D 자세 추정의 평균 오차를 요 6.45°, 피치 5.85°, 롤 8.75°로 감소시켰다.
• AFW 데이터셋에서 3D 자세 추정 정확도는 96.67%에 달했으며, 96% 이상의 예측이 ±15° 이내 오차를 가진 것으로 확인되었다.
• AFLW에서는 다섯 번째 반복 단계가 선택적이나, AFW에서는 비균일한 경계 상자 앵커판정을 다룰 때 매우 유용하며 성능 향상률 60%를 기록했다.
• 시각적 결과는 KEPLER가 서브픽셀 수준에서 특징점 위치를 효과적으로 수정하고, 특히 다섯 번째 반복 후에 오염된 점을 기존 방법보다 더 견고하게 처리함을 확인한다.