[논문 리뷰] 3D-TalkEmo: Learning to Synthesize 3D Emotional Talking Head

Qianyun Wang, Zhenfeng Fan외 1명|arXiv (Cornell University)|2021. 04. 25.

Face recognition and analysis참고 문헌 27인용 수 7

한 줄 요약

3D-TalkEmo는 제어 가능한 감정 상태를 갖춘 음성 주도 3D 얼굴 애니메이션을 위한 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이는 다차원 척도법을 통해 새로운 기하도 맵을 도입하여 2D 컨볼루션 처리를 위한 3D 얼굴 구조를 유지하며, 3D 메쉬에서 비일치하는 감정 전이를 효과적으로 가능하게 한다. 새로 제작한 대규모 3D 감정 표현 토킹 헤드 데이터셋을 바탕으로 광범위한 사용자 연구와 정량적 평가를 통해 현실성, 콘텐츠 유지도, 감정 표현력에서 최신 기술 수준을 확보한다.

ABSTRACT

Impressive progress has been made in audio-driven 3D facial animation recently, but synthesizing 3D talking-head with rich emotion is still unsolved. This is due to the lack of 3D generative models and available 3D emotional dataset with synchronized audios. To address this, we introduce 3D-TalkEmo, a deep neural network that generates 3D talking head animation with various emotions. We also create a large 3D dataset with synchronized audios and videos, rich corpus, as well as various emotion states of different persons with the sophisticated 3D face reconstruction methods. In the emotion generation network, we propose a novel 3D face representation structure - geometry map by classical multi-dimensional scaling analysis. It maps the coordinates of vertices on a 3D face to a canonical image plane, while preserving the vertex-to-vertex geodesic distance metric in a least-square sense. This maintains the adjacency relationship of each vertex and holds the effective convolutional structure for the 3D facial surface. Taking a neutral 3D mesh and a speech signal as inputs, the 3D-TalkEmo is able to generate vivid facial animations. Moreover, it provides access to change the emotion state of the animated speaker. We present extensive quantitative and qualitative evaluation of our method, in addition to user studies, demonstrating the generated talking-heads of significantly higher quality compared to previous state-of-the-art methods.

연구 동기 및 목표

• 감정 표현 토킹 헤드 애니메이션을 위한 3D 생성 모델과 동기화된 오디오-시각-감정 데이터셋의 부족을 해결하기 위해.
• 입력 오디오와 감정 레이블이 정확히 일치하지 않는 비일치하는 감정 전이를 3D 얼굴 메쉬에서 가능하게 하기 위해.
• 효율적인 2D 컨볼루션 처리를 위해 국소 기하관계를 유지하는 3D 얼굴 표현 방식을 개발하기 위해.
• 중립 3D 메쉬와 오디오 입력으로부터 현실적이고 감정적으로 표현력 있는 3D 토킹 헤드를 생성하기 위해.
• 정량적 지표와 사용자 연구를 통해 실존성, 콘텐츠 충실도, 감정의 풍부함을 검증하기 위해.

제안 방법

• 기하도 맵은 고전적 다차원 척도법(MDS)을 통해 3D 얼굴 정점 좌표를 기하학적 거리가 최소 제곱 기준으로 유지되도록 2D 기준 평면에 투영한다.
• 3D-TalkEmo 프레임워크는 중립 3D 메쉬와 오디오 시퀀스를 입력으로 받아 제어 가능한 감정 상태를 갖는 동적 3D 얼굴 애니메이션 시퀀스를 생성한다.
• 감정 전이는 기하도 맵 표현을 기반으로 한 StarGAN 기반 생성기로 수행되어 서로 다른 감정 상태 간의 비일치 학습을 가능하게 한다.
• 중립 토킹 모델 학습 시 국소 가중 전략을 적용하여 재구성 오차와 속도 오차를 감소시켜 애니메이션의 현실성을 향상시킨다.
• 감정 데이터 증강 기법을 도입하여 판별기의 감정 클래스 간 구분 능력을 향상시키고 생성 출력의 과도한 부드러움을 방지한다.
• 고급 3D 얼굴 복원 기술을 활용하여 다양한 화자, 풍부한 오디오, 다수의 감정 상태를 포함한 대규모 동기화 3D 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 오직 오디오 입력만으로 제어 가능한 감정 표현을 갖는 현실적인 3D 토킹 헤드를 생성할 수 있는가?
• RQ2 3D 얼굴 기하학을 효과적으로 2D 표현으로 투영하여 국소 인접성과 효율적인 2D 컨볼루션 처리를 가능하게 할 수 있는가?
• RQ3 훈련 데이터에서 오디오-감정 일치가 정확히 필요하지 않은 상황에서 3D 얼굴 메쉬에서 비일치 감정 전이를 얼마나 효과적으로 달성할 수 있는가?
• RQ4 직접 3D 처리 방식(예: PointNet)과 비교했을 때 제안된 기하도 맵는 감정 전이 품질과 노이즈에 대한 내성에서 어떤가?
• RQ5 데이터 증강 및 손실 가중 전략은 생성된 애니메이션의 현실성과 감정 다양성에 어떤 영향을 미치는가?

주요 결과

• 제안된 국소 가중 전략은 재구성 오차(T-RE)를 1.573에서 0.116로, 속도 오차(T-VE)를 1.226에서 0.087로 감소시켜 애니메이션의 현실성을 크게 향상시켰다.
• 감정 증강 전략은 판별기의 분류 오차(D-CE)를 5.36에서 2.09로 감소시켰고, 생성기의 다양한 감정을 모델링하는 능력을 향상시켰다. 이는 생성기 재구성 오차가 약간 증가했음에도 불구하고 유의미한 개선이다.
• 정성적 결과에서는 PointNet 기반 감정 전이가 노이즈가 많고 손상된 출력을 생성한 반면, 3D-TalkEmo는 고해상도로 평온한 감정에서 기쁨으로의 감정 전이를 성공적으로 수행했다.
• 23명의 참가자와 345개 응답을 포함한 사용자 연구 결과, 3D-TalkEmo는 실존성, 콘텐츠 유지도, 감정의 풍부함에서 베이스라인을 압도했으며, 모든 세 부문에서 통계적으로 유의미한 선호도를 확보했다.
• 기하도 맵은 정점의 인접성과 국소 구조를 유지하여 효과적인 2D 컨볼루션 네트워크가 3D 표면에서 얼굴 운동과 감정 전이를 모델링할 수 있도록 했다.
• 정량적 지표와 인간 평가를 통한 검증을 통해 3D-TalkEmo는 감정 표현력 있는 3D 토킹 헤드 생성에서 최신 기술 수준의 성능을 달성했다.