[논문 리뷰] Towards Fast, Accurate and Stable 3D Dense Face Alignment

Jianzhu Guo, Xiangyu Zhu외 4명|arXiv (Cornell University)|2020. 09. 21.

Face recognition and analysis참고 문헌 59인용 수 31

한 줄 요약

3DDFA-V2는 메타-관절 최적화, 랜드마크 정규화, 3D 보조 짧은 비디오 합성을 통한 빠른 3DMM 매개변수 회귀로 3D 밀집 얼굴 정합의 속도, 정확도, 안정성의 균형을 달성하며 CPU에서 50fps 이상, 무거운 모델보다 우수함.

ABSTRACT

Existing methods of 3D dense face alignment mainly concentrate on accuracy, thus limiting the scope of their practical applications. In this paper, we propose a novel regression framework named 3DDFA-V2 which makes a balance among speed, accuracy and stability. Firstly, on the basis of a lightweight backbone, we propose a meta-joint optimization strategy to dynamically regress a small set of 3DMM parameters, which greatly enhances speed and accuracy simultaneously. To further improve the stability on videos, we present a virtual synthesis method to transform one still image to a short-video which incorporates in-plane and out-of-plane face moving. On the premise of high accuracy and stability, 3DDFA-V2 runs at over 50fps on a single CPU core and outperforms other state-of-the-art heavy models simultaneously. Experiments on several challenging datasets validate the efficiency of our method. Pre-trained models and code are available at https://github.com/cleardusk/3DDFA_V2.

연구 동기 및 목표

• 정확도를 희생하지 않으면서 3D 밀집 얼굴 정합의 추론 시간을 줄인다.
• 3D 얼굴 재구성 중 영상 프레임 간 안정성을 개선한다.
• 빠른 매개변수 회귀와 3D 인식 보강을 모두 활용하는 학습 전략을 개발한다.
• 정확한 3DMM 매개변수로 회귀를 안내하기 위한 정규화를 도입한다.

제안 방법

• MobileNet과 같은 경량 백본을 사용하여 작고 간결한 3DMM 매개변수 세트를 회귀한다.
• 빠른 WPDC와 VDC를 결합하기 위해 앞으로 k 스텝을 바라보는 메타 트레이닝 루프를 통해 더 나은 비용을 선택하는 메타-조인트 최적화를 도입한다.
• 한 번의 정점을 재구성하여 62개 매개변수에 대한 가중치를 계산하는 WPDC의 빠른 구현인 fWPDC를 제안한다.
• 보조 2D 랜드마크 회귀 작업을 통한 매개변수 학습을 유도하기 위한 랜드마크-회귀 정규화를 추가한다.
• 학습 안정성을 위한 3D 보조 짧은 비디오 합성을 개발하여 정지 이미지를 짧은 합성 비디오로 변환한다.

실험 결과

연구 질문

• RQ1 경량 네트워크가 작은 3DMM 매개변수 세트를 회귀하여 CPU에서 정확도를 해치지 않으면서 실시간 3D 밀집 얼굴 정합을 달성할 수 있는가?
• RQ2 메타-조인트 최적화가 표준 조인트 최적화에 비해 수렴과 최종 정확도를 신뢰성 있게 향상시키는가?
• RQ3 랜드마크 회귀 정규화가 3DMM 매개변수 회귀 정확도를 향상시키는가?
• RQ4 학습 중 3D 보조 짧은 비디오 합성이 비디오 시퀀스의 시간적 안정성을 향상시키는가?

주요 결과

• 3DDFA-V2는 단일 CPU 코어에서 50fps 이상, 다수의 CPU 코어에서 130fps 이상으로 동작한다.
• 엄격한 계산 제약 하에서 최첨단 정확도를 달성하며 PRNet 및 3DDFA 변형과 같은 무거운 모델들을 주요 벤치마크에서 능가한다.
• 메타-조인트 최적화를 가진 빠른 WPDC(fWPDC)는 수렴을 가속하고 VDC 또는 일반 조인트 최적화와 비교해 NME 점수를 향상시킨다.
• 랜드마크-회귀 정규화는 랜드마크-정규화 접근법 대비 실질적인 정확도 향상을 가져오고 견고성을 개선한다.
• 3D 보조 짧은 비디오 합성은 비디오 벤치마크에서 시간적 안정성을 크게 향상시키며 배치 내 무작위 회전보다 우수하다.