[논문 리뷰] Textured Neural Avatars

Aliaksandra Shysheya, Egor Zakharov외 10명|arXiv (Cornell University)|2019. 05. 21.

Human Pose and Action Recognition참고 문헌 70인용 수 16

한 줄 요약

이 논문은 3D 관절 위치와 카메라 파rameter를 기반으로 2D 텍스처 맵을 명시적으로 모델링하고, 전체 신체 영역의 이미지를 새로운 자세와 카메라 시점에서 렌더링할 수 있도록 학습하는 텍스처가 부여된 신경 가면 시스템을 제안한다. 이는 완전히 컨volutional 네트워크를 사용하여 텍스처 좌표를 예측한다. 이 방법은 직접적인 이미지-이미지 번역 방법보다 더 나은 일반화 능력과 현실감을 달성하며, 특히 훈련 데이터가 제한적인 경우에 유의미하다.

ABSTRACT

We present a system for learning full-body neural avatars, i.e. deep networks that produce full-body renderings of a person for varying body pose and camera position. Our system takes the middle path between the classical graphics pipeline and the recent deep learning approaches that generate images of humans using image-to-image translation. In particular, our system estimates an explicit two-dimensional texture map of the model surface. At the same time, it abstains from explicit shape modeling in 3D. Instead, at test time, the system uses a fully-convolutional network to directly map the configuration of body feature points w.r.t. the camera to the 2D texture coordinates of individual pixels in the image frame. We show that such a system is capable of learning to generate realistic renderings while being trained on videos annotated with 3D poses and foreground masks. We also demonstrate that maintaining an explicit texture representation helps our system to achieve better generalization compared to systems that use direct image-to-image translation.

연구 동기 및 목표

• 제한된 훈련 데이터로도 새로운 자세와 카메라 시점에 잘 일반화되는 신경 가면 시스템을 개발하는 것.
• 2D 텍스처 맵을 명시적으로 모델링하여 직접적인 이미지-이미지 번역 네트워크보다 일반화 능력을 향상시키는 것.
• 기존 그래픽스의 강점(텍스처 분리)과 딥 러닝의 강점(엔드 투 엔드 렌더링)을 융합하는 것.
• 단일 카메라 영상에서 훈련하고, 최소한의 데이터로 새로운 개인에게 전이할 수 있도록 하는 것.
• 제한된 감독 하에 새로운 시점과 자세에서의 일반화 능력과 현실감을 입증하는 것.

제안 방법

• 시스템은 3D 관절 위치와 카메라 파rameter를 기반으로 각 픽셀의 2D 텍스처 좌표를 예측하기 위해 완전히 컨volutional 네트워크를 사용한다.
• 전경/배경 마스크를 동시에 예측하고, 신체 표면에 대해 명시적인 2D 텍스처 맵을 유지한다.
• 3D 자세와 전경 마스크 주석이 있는 영상에서 엔드 투 엔드로 훈련되며, 명시적인 3D 형태 모델링 없이 진행된다.
• 새로운 개인을 위한 미세조정 시 텍스처 맵을 처음부터 초기화하여 단일 영상에서의 제로샷 전이를 가능하게 한다.
• 기하학적 구조와 외관을 분리하여, 자세와 시점 변화에 대한 더 나은 일반화를 위해 텍스처를 사전 지식으로 활용한다.
• 예측된 텍스처 좌표를 최종 이미지 픽셀로 매핑하는 가분리 렌더링 파이프라인을 사용한다.

실험 결과

연구 질문

• RQ1 제한된 단일 카메라 영상 데이터로 훈련되는 신경 가면 시스템에서 명시적인 텍스처 표현이 일반화 능력을 향상시키는가?
• RQ2 새로운 시점과 자세에서 일반화 능력 측면에서 텍스처 인식 신경 가면의 성능은 직접적인 영상-영상 번역과 비교해 어떻게 되는가?
• RQ3 단일 카메라 영상만으로도 신경 가면을 새로운 사람에게 얼마나 잘 전이할 수 있는가?
• RQ4 엔드 투 엔드 이미지-이미지 번역과 비교해 명시적인 텍스처 맵을 유지함으로써 아티팩트가 줄어들고 현실감이 향상되는가?
• RQ5 특히 손과 얼굴에서의 관절 추정 오차에 대해 이 시스템은 얼마나 내구성이 있는가?

주요 결과

• 우리 방법은 SSIM 측면에서 영상-영상(V2V) 번역보다 뛰어나며, 사용자 연구에서도 선호되며, 더 나은 시각적 품질과 일반화 능력을 나타낸다.
• 단일 영상 전이 시, 사용자 비교에서 V2V보다 55%와 65%의 비율로 선호되었으며, 강력한 소수의 샘플 일반화 능력을 입증한다.
• 시스템은 단일 YouTube 영상에서도 타당한 가면을 성공적으로 생성하지만, 일부 손 아티팩트는 여전히 존재한다.
• 정량적 평가 결과 SSIM는 뛰어나고, FID 점수는 경쟁적이지만 V2V보다 略로 약간 열 劣하므로, 지표와 시각적 품질 사이의 상충 관계가 있음을 시사한다.
• 학습 데이터와 스케일이 크게 다를 경우 일반화 능력이 떨어지므로 스케일 불변성에 한계가 있음을 시사한다.
• 관절 추정 오차 발생 시 아티팩트가 두드러지며, 특히 손과 얼굴에서 민감하게 드러나, 관절 정확도에 대한 민감도를 강조한다.