[논문 리뷰] Speech Driven Talking Face Generation from a Single Image and an Emotion Condition

Şefik Emre Eskimez, You Zhang외 1명|arXiv (Cornell University)|2020. 08. 08.

Face recognition and analysis참고 문헌 64인용 수 9

한 줄 요약

이 논문은 단일 기준 이미지와 범주형 정서 레이블을 조건으로 하여 음성 기반 대화형 얼굴 생성을 위한 엔드 투 엔드 신경망을 제안한다. 이는 시각적 정서 표현에 대해 정밀한 제어를 가능하게 하며, 객관적 지표(이미지 품질, 청각-시각 동기화, 정서 표현)와 주관적 평가에서 최신 기준 모델을 능가한다. 결과적으로 생성된 영상의 현실성과 정서의 진정성에서 뛰어난 성능을 보이며, 사전 연구는 인간이 정서 인식에 청각적 신호보다 시각적 신호에 더 의존한다는 점을 확인한다.

ABSTRACT

Visual emotion expression plays an important role in audiovisual speech communication. In this work, we propose a novel approach to rendering visual emotion expression in speech-driven talking face generation. Specifically, we design an end-to-end talking face generation system that takes a speech utterance, a single face image, and a categorical emotion label as input to render a talking face video synchronized with the speech and expressing the conditioned emotion. Objective evaluation on image quality, audiovisual synchronization, and visual emotion expression shows that the proposed system outperforms a state-of-the-art baseline system. Subjective evaluation of visual emotion expression and video realness also demonstrates the superiority of the proposed system. Furthermore, we conduct a human emotion recognition pilot study using generated videos with mismatched emotions among the audio and visual modalities. Results show that humans respond to the visual modality more significantly than the audio modality on this task.

연구 동기 및 목표

• 음성과 범주형 정서 레이블에 조건화된 현실적인 시각적 정서 표현을 렌더링할 수 있는 대화형 얼굴 생성 시스템을 개발하는 것.
• 생성된 대화형 얼굴의 정서 표현을 음성 오디오에서 분리하여 독립적이고 융통성 있게 제어할 수 있도록 하는 것.
• 객관적 및 주관적 평가를 통해 생성된 영상의 현실성과 정서 표현력에 대해 평가하는 것.
• 청각-시각 음성에서 모odal 비일치가 있는 상황에서 인간이 정서를 인식할 때 청각적 신호와 시각적 신호 중 어느 쪽에 더 의존하는지 조사하는 것.
• 행동 심리학 실험 및 엔터테인먼트, 교육, 보조 기술 분야의 개인화된 애플리케이션을 위한 도구를 제공하는 것.

제안 방법

• 시스템은 음성 스펙트로그램, 기준 얼굴 이미지, 범주형 정서 레이블을 입력으로 사용하는 조건부 생성 적대 신경망(cGAN) 아키텍처를 사용한다.
• 입력 정서 레이블과 일치하는 현실적인 시각적 정서 표현을 생성하도록 훈련하기 위해 새로운 정서 구분 손실을 도입한다.
• 시간적 일관성과 입술 움직임 및 머리 운동의 현실성을 향상시키기 위해 다중 수용장역할(MRM) 손실을 적용한다.
• 생성자에 대한 적대적 손실, 지각적 손실, 정신 유지 손실의 조합을 사용하여 얼굴 정신과 시각적 품질을 유지한다.
• 정서 조건화는 생성자의 잠재 공간에 범주형 정서 레이블을 삽입하는 임bedding 레이어를 통해 구현된다.
• 훈련 파이프라인은 생성된 영상 시퀀스의 시간적 일관성을 강화하기 위해 순서 분류기(Sequence Discriminator)를 포함한다.

실험 결과

연구 질문

• RQ1 범주형 정서 레이블에 조건화된 신경망 기반 대화형 얼굴 생성 시스템이 음성 오디오와 무관하게 시각적 정서 표현을 효과적으로 렌더링할 수 있는가?
• RQ2 제안된 방법은 이미지 품질, 청각-시각 동기화, 정서 표현 측면에서 최신 기준 모델과 비교해 어떻게 성능을 냈는가?
• RQ3 청각-시각 모달리티가 일치하지 않는 청각-시각 음성에서 인간은 정서 인식에 있어 청각적 신호보다 시각적 신호에 얼마나 더 의존하는가?
• RQ4 인간 평가자들에 따르면 생성된 대화형 얼굴 영상은 실제 영상과 비교해 얼마나 현실적인가?
• RQ5 시스템은 정서와 현실성 측면에서 실제 영상과 인지적으로 구별할 수 없을 정도로 정서적으로 표현력 있는 대화형 얼굴 영상을 생성할 수 있는가?

주요 결과

• 제안된 방법은 기준 모델 대비 영상의 현실성에서 통계적으로 유의미한 향상을 보였으며, 윌콕슨 부호 순위 검정에서 p-value가 0.048이었다.
• 주관적 평가 결과, 생성된 영상에서 시각적 정서를 올바르게 식별한 참가자가 35.2%였고, 청각적 정서는 단지 25.1%였으며, 이는 정서 인식에서 시각적 요소의 우월성을 시사한다.
• 주요 및 보조 정서 레이블을 모두 고려할 때, 시각적 정서와 일치한 응답 비율은 44.9%였고, 청각적 정서와 일치한 비율은 33.8%였으며, 이는 여전히 시각적 모odal의 우세함을 뒷받침한다.
• 실제 영상의 평균 현실성 평가는 약 4(약간 현실적인)에 가까웠으며, 이는 심지어 실제 영상조차도 생성된 영상만큼 현실적으로 인식되지 않는다는 점을 시사한다. 이는 해상도가 낮기 때문일 수 있다.
• 기준 모델은 이미지 품질과 입술 동기화 문제에 대해 더 많은 피드백을 받은 반면, 제안된 방법은 머리 운동과 입술 동기화 측면에서 실제 영상과 유사한 성능을 보였으며, 이는 MRM 손실의 효과성을 시사한다.
• 객관적 지표와 인간 평가를 통해 검증된 바, 시스템은 높은 지각적 품질과 정확한 정서 표현을 갖춘 영상을 성공적으로 생성했다.