[논문 리뷰] Dense 3D Face Decoding over 2500FPS: Joint Texture & Shape Convolutional Mesh Decoders

Yuxiang Zhou, Jiankang Deng외 2명|arXiv (Cornell University)|2019. 04. 06.

Face recognition and analysis참고 문헌 38인용 수 6

한 줄 요약

이 논문은 삼각형 메시 구조에 직접 적용되는 공동 메시 컨볼루션 오토인코더를 사용하여 3D 형태와 텍스처를 모두 메시 도메인에서 직접 복원하는 최초의 비선형 3D 모러포블 모델(3DMM)을 제안한다. 삼각형 메시 위에서 기하학적 딥러닝을 활용함으로써, 압축된 17MB 모델로 초당 2500프레임 이상의 실시간 색상 메시 복원을 달성하였으며, 기존 방법에 비해 속도와 파rameter 효율성에서 뛰어난 성능을 보이며 동시에 최신 기술 수준의 재구성 정확도를 유지한다.

ABSTRACT

3D Morphable Models (3DMMs) are statistical models that represent facial texture and shape variations using a set of linear bases and more particular Principal Component Analysis (PCA). 3DMMs were used as statistical priors for reconstructing 3D faces from images by solving non-linear least square optimization problems. Recently, 3DMMs were used as generative models for training non-linear mappings (\ie, regressors) from image to the parameters of the models via Deep Convolutional Neural Networks (DCNNs). Nevertheless, all of the above methods use either fully connected layers or 2D convolutions on parametric unwrapped UV spaces leading to large networks with many parameters. In this paper, we present the first, to the best of our knowledge, non-linear 3DMMs by learning joint texture and shape auto-encoders using direct mesh convolutions. We demonstrate how these auto-encoders can be used to train very light-weight models that perform Coloured Mesh Decoding (CMD) in-the-wild at a speed of over 2500 FPS.

연구 동기 및 목표

• 완전히 연결된 레이어나 UV 매핑에 대한 2D 컨볼루션에 의존하는 기존 3D 얼굴 재구성 방법의 한계를 해결하기 위해, 높은 파라미터 수와 계산 비용을 초래하는 기반 기법을 개선하고자 한다.
• 기하학적 딥러닝을 활용한 3D 메시 상에서 형태와 텍스처를 공동으로 모델링하는 비선형 3DMM을 개발하여, 얼굴 기하학과 외관을 보다 효율적이고 직관적으로 모델링하고자 한다.
• 낮은 모델 크기(17MB)와 함께 초당 2500프레임 이상의 실시간 추론 속도를 달성하면서도, 자연광 촬영 이미지에서 높은 재구성 정확도를 유지하고자 한다.
• 메시 컨볼루션 네트워크가 이미지 특징에서 고밀도 3D 얼굴 메시로 복잡한 비선형 매핑을 효과적으로 학습할 수 있으며, 선형 PCA 기반 모델보다 표현력과 효율성이 뛰어나다는 것을 입증하고자 한다.

제안 방법

• 2D 이미지 인코더가 특징을 추출하고, 삼각형 메시 위의 3D 컨볼루션 레이어를 사용하여 메시 도메인에서 직접 3D 형태와 텍스처를 복원하는 색상 메시 디코더를 포함한 새로운 인코더-디코더 아키텍처를 제안한다.
• 그래프 컨볼루션 네트워크(GCNs)를 메시 토폴로지에 맞게 변형한 메시 컨볼루션을 활용하여, 메시 표면 전반에서 정점 특징을 처리함으로써 국소적이고 공간 인지 특성을 가진 특징 학습을 가능하게 한다.
• 공유된 잠재 표현에서 형태와 텍스처를 동시에 재구성하기 위해 공동 오토인코더를 훈련시키며, 유연한 메시 렌더러와 인지 손실을 사용하여 고해상도 외관을 유지한다.
• 오직 17MB의 파라미터만을 가지는 압축된 메시 디코더를 사용하여, CPU에서 1프레임당 0.367ms(초당 2500FPS)의 빠른 추론 속도를 달성하였으며, 이는 2D 컨볼루션 또는 완전히 연결된 레이어를 사용하는 기존 방법보다 뚜렷이 빠른 성능을 보였다.
• 밀도 있는 대응 추정(예: Densereg 또는 특징점 검출)을 활용하여 메시 기반 특징 학습을 감독함으로써, 약한 감독 하에 엔드 투 엔드 훈련을 가능하게 하였다.
• 정점 위치와 텍스처에 대한 L2 손실, 그리고 사전 학습된 VGG 네트워크에서 유도된 인지 손실을 조합한 새로운 손실 함수를 도입하여, 외관의 현실감과 기하학적 정확도를 향상시켰다.

실험 결과

연구 질문

• RQ1 메시 컨볼루션 네트워크는 메시 도메인에서 형태와 텍스처를 동시에 공동으로 비선형적으로 모델링할 수 있는 효과적인 방법으로 사용될 수 있는가?
• RQ2 이러한 메시 기반 디코더는 낮은 모델 크기로 실시간 성능(예: 초당 2500프레임 이상)을 달성하면서도 높은 재구성 정확도를 유지할 수 있는가?
• RQ3 UV 매핑에 대한 2D 컨볼루션 또는 완전히 연결된 레이어를 사용하는 기존 방법과 비교해 볼 때, 메시 기반 비선형 3DMM의 성능은 속도, 정확도, 파라미터 효율성 측면에서 어떻게 다른가?
• RQ4 제안된 방법은 사전 정렬되거나 통제된 촬영 데이터가 필요 없이 자연광 이미지에 일반화될 수 있으며, 자세나 표정 변화에 얼마나 강건한가?

주요 결과

• 제안된 색상 메시 디코더(CMD)는 CPU에서 1프레임당 0.367ms(초당 2500+ FPS)의 복원 속도를 기록하여, 모든 기준 방법보다 추론 속도에서 뛰어난 성능을 보였다.
• CMD 모델은 단지 17MB의 매우 압축된 크기를 가지며, 더 높은 표현력을 지닌 탓에 MoFA에서 사용하는 선형 형태 기저(120MB)의 약 1/7에 불과하다.
• Florence 데이터셋에서, PRNet와 VRN에 비해 유사한 재구성 정확도를 달성하였고, 다양한 야각에서 안정적인 성능을 보였으며, 측면 시점에서 3DDFA와 VRN를 뛰어넘었다.
• Florence 데이터셋에서의 정량적 결과는 자세 변화 상황에서도 낮은 정규화 평균 오차(NME)를 유지함을 보여주었으며, 측면 조건에서 PRNet와 유사한 성능을 기록했고, 3DDFA와 VRN보다 뛰어난 성능을 보였다.
• 시각적 비교 결과, 재구성된 3D 얼굴은 현실적인 표정과 텍스처 세부 정보를 잘 유지하였으며, 색상이 부여된 정점들이 명확히 얼굴의 운동을 표현하였다.
• 모든 회귀 기반 기준 방법(예: [36], [28], [35])보다 재구성 품질이 뛰어나며, N-3DMM과 MoFA보다도 훨씬 빠르고 작다.