[논문 리뷰] 3D Dense Face Alignment via Graph Convolution Networks

Huawei Wei, Shuang Liang외 1명|arXiv (Cornell University)|2019. 04. 11.

Face recognition and analysis참고 문헌 31인용 수 25

한 줄 요약

이 논문은 2D 이미지에서 얼굴 메시 상에서 직접 3D 얼굴 좌표를 회귀함으로써 기하학적 구조를 손상 없이 유지하는 그래프 컬러리션 네트워크(GCN)-기반 방법을 제안한다. 이 방법은 여러 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성하며, AFLW2000-3D에서 평균 정규화 오차(NME)가 2.44이다.

ABSTRACT

Recently, 3D face reconstruction and face alignment tasks are gradually combined into one task: 3D dense face alignment. Its goal is to reconstruct the 3D geometric structure of face with pose information. In this paper, we propose a graph convolution network to regress 3D face coordinates. Our method directly performs feature learning on the 3D face mesh, where the geometric structure and details are well preserved. Extensive experiments show that our approach gains superior performance over state-of-the-art methods on several challenging datasets.

연구 동기 및 목표

• 격자 기반 3D 얼굴 표현의 한계, 예를 들어 양자화 오차 및 왜곡 오차를 해결하기 위해.
• 그래프 컬러리션 네트워크(GCN)를 사용하여 3D 얼굴 메시 상에서 직접 작동하는 딥 러닝 프레임워크를 개발하여 기하학적 정확성을 유지하기 위해.
• 메시 상에서 계층적이고 군집화된 특징 학습을 통해 3D 얼굴 정렬 및 재구성에서 뛰어난 성능을 달성하기 위해.
• 부드러움 손실(smoothness loss)의 효과를 검증하여, 정렬 정확도를 떨어뜨리지 않은 채 생성된 3D 얼굴의 시각적 품질을 향상시키기 위해.

제안 방법

• 2D 이미지에서 3D 얼굴 메시 상에서 직접 3D 얼굴 좌표를 엔드 투 엔드로 회귀하기 위해 그래프 컬러리션 네트워크(GCN)를 사용하며, 중간 격자 표현을 피한다.
• 그래프 구조 데이터에 적합하게 조정된 U-Net 유사 인코더-디코더 아키텍처를 사용하며, 잔차 연결과 인스턴스 정규화를 포함한다.
• 메시 샘플링 기법을 활용한 코arse-to-fine 전략을 도입하여 얼굴 메시 전역에서 다중 척도 특징을 캡처한다.
• 메시 그래프 상에서 효율적이고 局소적인 메시지 전달을 위해 체비셰프 다항식(Chebyshev polynomials)을 통한 스펙트럴 그래프 컬러리션(ChebyNet)을 활용한다.
• 3D 좌표에 대한 L1 손실과 부드러움 손실을 조합한 다중 작업 손실을 최적화하여 표면 품질을 향상시킨다.
• 3D 재구성 작업 평가를 위해 실제 점군(point clouds)과 비교하기 위해 반복 최대 근접점(ICP) 정렬을 적용한다.

실험 결과

연구 질문

• RQ1 그래프 컬러리션 네트워크는 매개변수 모델이나 격자 기반 표현에 의존하지 않고 2D 이미지에서 3D 얼굴 기하학을 효과적으로 학습할 수 있는가?
• RQ2 UV 매핑 또는 볼륨화를 사용하는 방법과 비교할 때, 3D 얼굴 메시 상에서 직접 회귀하는 방법은 정렬 정확도와 기하학적 정확성 측면에서 어떻게 성능을 내는가?
• RQ3 3D 얼굴 생성에서 정렬 정확도와 표면 부드러움 사이의 최적의 트레이드오프는 무엇이며, 학습 중에 이를 어떻게 제어할 수 있는가?
• RQ4 제안된 GCN 기반 방법은 다양한 데이터셋과 자세 변형에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 방법은 AFLW2000-3D 벤치마크에서 평균 정규화 오차(NME) 2.44를 달성하여 PRN(2.75) 및 3DDFA+SDM(3.43)를 포함한 모든 최신 기술(SOTA) 방법을 능가한다.
• 45K점 정렬 작업에서는 NME 3.35를 기록하여 고밀도 감독에 대한 강건성을 입증한다.
• 정성적 결과에서는 예측 랜드마크가 일부 경우에서 실제 랜드마크보다 더 정확한 것으로 나타나, 특히 도전적인 자세에서 높은 정밀도를 보임을 시사한다.
• 제거 분석(ablation study)을 통해 부드러움 손실 가중치 α = 0.1이 정렬 정확도와 표면 부드러움 사이의 최적 균형을 제공하는 것으로 확인되었다.
• 피렌체(Florence) 데이터셋에서, 훈련 데이터(300W-LP)와 테스트 데이터(Florence) 사이의 도메인 갭이 존재하나, PRN보다 약간 뛰어난 재구성 성능을 달성했다.
• 시각적 결과에서는 눈이나 코와 같은 도전적인 영역에서도 표정과 세밀한 기하학적 구조를 효과적으로 유지함을 보여주었다.