[논문 리뷰] Real-time Memory Efficient Large-pose Face Alignment via Deep Evolutionary Network

Bin Sun, Ming Shao외 2명|arXiv (Cornell University)|2019. 10. 25.

Face recognition and analysis참고 문헌 50인용 수 6

한 줄 요약

이 논문은 희소 3D 확산 히프 맵(DHM)과 경량 CNN-RNN 아키텍처를 사용하여 대자세 얼굴 정렬을 위한 실시간, 메모리 효율적인 딥 진화 네트워크를 제안한다. 기존의 회귀 방식을 반복적인 랜드마크 좌표 예측으로 대체하고, 인과적 합성곱과 빠른 순환 모듈을 적용함으로써, 최신 기술 대비 CPU에서 6배, GPU에서 14배 빠른 추론 속도를 달성하면서도 극단적인 자세 조건에서도 높은 정확도를 유지한다.

ABSTRACT

There is an urgent need to apply face alignment in a memory-efficient and real-time manner due to the recent explosion of face recognition applications. However, impact factors such as large pose variation and computational inefficiency, still hinder its broad implementation. To this end, we propose a computationally efficient deep evolutionary model integrated with 3D Diffusion Heap Maps (DHM). First, we introduce a sparse 3D DHM to assist the initial modeling process under extreme pose conditions. Afterward, a simple and effective CNN feature is extracted and fed to Recurrent Neural Network (RNN) for evolutionary learning. To accelerate the model, we propose an efficient network structure to accelerate the evolutionary learning process through a factorization strategy. Extensive experiments on three popular alignment databases demonstrate the advantage of the proposed models over the state-of-the-art, especially under large-pose conditions. Notably, the computational speed of our model is 6 times faster than the state-of-the-art on CPU and 14 times on GPU. We also discuss and analyze the limitations of our models and future research work.

연구 동기 및 목표

• 극도의 자세 변화가 있는 상황에서 실시간, 메모리 효율적인 얼굴 정렬 도전 과제 해결.
• 2D 모델이 보이지 않는 랜드마크와 자세 불변 특징 표현을 다루는 데 한계를 극복.
• 모바일 및 임베디드 장치에의 배포를 위해 계산 및 저장 비용을 감소.
• 기존 딥 러닝 방법에 비해 극단적인 자세 조건에서의 강인성과 정확도 향상.

제안 방법

• 얼굴 기하학을 모델링하고 큰 자세에서의 특징 신뢰도를 향상시키기 위해 3채널의 3D 인식, 저채널 수치인 희소 3D 확산 히프 맵(DHM)을 도입.
• 기능 추출을 효율적으로 하기 위해 경량의 딥웨이즈 분리형 CNN을 사용하여 FLOPs와 모델 크기를 감소.
• 시간 및 공간 복잡도를 줄이기 위해 기존의 전통적 RNN을 점렬 및 깊이 분리 합성곱으로 구성된 빠른 순환 모듈로 대체.
• RNN을 사용한 반복적 랜드마크 좌표 회귀로 얼굴 정렬을 프레임워크화하여, 각 단계에서 예측된 2D 정규화된 랜드마크 좌표를 정밀하게 보정.
• 정확도 손실이 크지 않은 수준에서 추론 속도를 향상시키기 위해 CNN 및 RNN 구성 요소에 인과적 분해를 적용.
• 정확도를 유지하면서도 파rameter 수와 FLOPs를 최소화하여 CPU 및 GPU에서 실시간 성능을 최적화.

실험 결과

연구 질문

• RQ1 메모리 효율적인 딥 러닝 프레임워크가 CPU 및 GPU에서 대자세 얼굴 정렬에 대해 실시간 성능을 달성할 수 있는가?
• RQ2 3D 확산 히프 맵(DHM)의 통합이 2D 전용 또는 고채널 3D 표현에 비해 대자세 변화에 대해 얼마나 강인한가?
• RQ3 인과적 합성곱과 빠른 순환 모듈이 계산 비용을 얼마나 줄일 수 있으며, 정확도 유지에 얼마나 기여하는가?
• RQ4 제안된 진화적 얼굴 정렬 프레임워크에서 모델 크기, 추론 속도, 정확도 간의 상호 교환 관계는 어떠한가?
• RQ5 극도의 자세 조건에서 벤치마크 데이터셋에서 최신 기술 대비 속도, 메모리 사용량, 성능 측면에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• 제안된 모델은 최신 기술 대비 CPU에서 6배, GPU에서 14배 더 빠른 추론 속도를 달성하여 실시간 성능을 크게 향상시켰다.
• 가장 작은 기준 모델 대비 파라미터 수가 12.5배 적어, 뛰어난 메모리 효율성을 입증했다.
• AFLW2000-3D 및 LS3D-W 데이터셋에서 평균 NME 및 [0°–30°], [30°–60°], [60°–90°] 자세 범위에서 상위 3위를 기록했다.
• Fast DHM ×2 설정에서 정확도(평균 NME ≈ 3.8)와 모델 효율성 간 최적의 균형을 달성했으며, 이 이상의 개선은 더 이상 없었다.
• 모델은 대자세에 대해 강인한 성능를 보였지만, 훈련 데이터가 제한된 경우 심한 가림이나 극단적인 롤 자세 얼굴에서는 성능 저하가 발생했다.
• 빠른 순환 모듈은 표준 RNN에 비해 시간 및 공간 복잡도를 모두 감소시켜 엣지 장치에서의 실시간 배포를 가능하게 했다.