[논문 리뷰] Emotion-Controllable Generalized Talking Face Generation

Sanjana Sinha, Sandika Biswas외 2명|arXiv (Cornell University)|2022. 05. 02.

Face recognition and analysis인용 수 5

한 줄 요약

이 논문은 단일 중성 정체성 이미지를 사용하여 미리 보지 않은 다양한 얼굴에 일반화되는 일회성, 감정 제어가 가능한 대화형 얼굴 생성 방법을 제안한다. 음성과 감정 입력에서 기하학적 구조를 고려한 얼굴 랜드마크 운동을 생성하기 위해 그래프 컬러리션 네트워크(GCN)를 사용하고, 이후 광학 흐름을 기반으로 한 텍스처 생성 네트워크를 통해 정체성, 운동, 감정을 분리하여 다양한 정체성과 감정에서 현실적이고 제어 가능한 얼굴 애니메이션을 구현한다.

ABSTRACT

Despite the significant progress in recent years, very few of the AI-based talking face generation methods attempt to render natural emotions. Moreover, the scope of the methods is majorly limited to the characteristics of the training dataset, hence they fail to generalize to arbitrary unseen faces. In this paper, we propose a one-shot facial geometry-aware emotional talking face generation method that can generalize to arbitrary faces. We propose a graph convolutional neural network that uses speech content feature, along with an independent emotion input to generate emotion and speech-induced motion on facial geometry-aware landmark representation. This representation is further used in our optical flow-guided texture generation network for producing the texture. We propose a two-branch texture generation network, with motion and texture branches designed to consider the motion and texture content independently. Compared to the previous emotion talking face methods, our method can adapt to arbitrary faces captured in-the-wild by fine-tuning with only a single image of the target identity in neutral emotion.

연구 동기 및 목표

• 기존의 음성 기반 대화형 얼굴 생성 방법에서 감정 제어 부족 및 일반화 능력 부족 문제를 해결하기 위해.
• 단일 중성 정체성 이미지만으로도 임의의 새로운 얼굴에 감정 제어가 가능한 애니메이션을 가능하게 하기 위해.
• 대화형 얼굴 텍스처 생성 과정에서 정체성, 음성 유도 운동, 감정 유도 변형을 분리하기 위해.
• 기하학적 랜드마크 표현을 통해 얼굴 기하학적 구조 유지 및 감정 일관성 향상을 위해.
• 정체성 특화 미세조정이나 대규모 데이터셋을 요구하지 않고도 높은 현실성과 정체성 유지 성능을 달성하기 위해.

제안 방법

• Delaunay 삼각분할된 얼굴 랜드마크 그래프에 대해 그래프 컬러리션 네트워크(GCN)가 음성 콘텐츠와 감정 입력을 인코딩하여 기하학적 구조를 유지하는 랜드마크 운동을 생성한다.
• 학습 가능한 엣지 가중치와 스킵 연결을 통해 공간적 의존성 유지 및 특징 전파 향상을 위해 랜드마크 운동 예측을 유도한다.
• 예측된 랜드마크 운동을 기반으로 광학 흐름을 기반으로 한 텍스처 생성 네트워크가 정체성 일관성 있는 얼굴 텍스처를 감정 특화 변형과 함께 합성한다.
• 텍스처 네트워크는 운동과 텍스처 콘텐츠를 분리하기 위해 이중 브랜치 아키텍처를 사용하며, 감정 특징 입력을 통해 표정 제어를 가능하게 한다.
• 추론 단계에서 한정된 학습(one-shot learning)을 적용하여 타겟 정체성의 단일 중성 얼굴 이미지를 사용해 텍스처 네트워크를 미세조정한다.
• 최종 영상 생성의 현실성 및 정체성 유지 향상을 위해 adversarial loss와 perceptual loss를 사용한다.

실험 결과

연구 질문

• RQ1 단일 중성 정체성 이미지만으로도 미리 보지 않은 다양한 얼굴에 일반화되는 대화형 얼굴 생성 모델이 가능한가?
• RQ2 감정 애니메이션 중 얼굴 구조 유지에 있어 얼굴 기하학과 감정 유도 변형을 효과적으로 모델링할 수 있는가?
• RQ3 운동 생성 과정에서 음성과 감정을 분리하여 표정에 대해 독립적인 제어가 가능한가?
• RQ4 광학 흐름을 기반으로 한 텍스처 생성 방식이 감정 제어가 가능한 대화형 얼굴 합성에서 현실성과 정체성 유지에 기여하는가?
• RQ5 다양한 정체성과 데이터셋에서 감정 정확도, 입술 동기화, 시각적 현실성 측면에서 기존 최고 성능(SOTA) 방법과 비교해 본 결과 어떻게 되는가?

주요 결과

• 사용자 연구 결과, 제안된 방법은 정체성 유지 및 감정 분류 정확도에서 최신 기술(SOTA) 수준의 성능을 달성했으며, 평균 점수는 각각 4.3/5 및 4.5/5를 기록했다.
• RAVDESS 및 CREMA-D와 같은 새로운 데이터셋의 얼굴에 대해서도 재학습 없이도 현실적인 감정 표현을 생성하여 일반화 성능을 입증했다.
• Ablation 연구 결과, 감정 특징나 감정 유도 랜드마크를 제거할 경우 감정 정확도가 크게 떨어지며, 이는 표현력 있는 애니메이션을 위해 필수적임을 확인했다.
• 일회성 학습이 정체성 유지 성능을 향상시켰으며, CSIM 점수 향상과 함께 생성 영상에서 얼굴 구조 및 피부 톤 유지 능력 향상을 입증했다.
• 광학 흐름을 기반으로 한 텍스처 네트워크는 기존 기반 모델 대비 시각적 현실성과 일관성에서 뛰어난 성능을 보였으며, 특히 눈썹 움직임이나 입술 형태 변화와 같은 미세한 감정 신호를 잘 포착했다.
• 기존 방법과 달리 입술 동기화 정확도를 유지하면서도 감정에 대해 독립적인 제어가 가능하여, 이전 방법들이 보여주던 일관성 없거나 비자연스러운 표정을 피했다.