[논문 리뷰] A Realistic Face-to-Face Conversation System based on Deep Neural Networks

Zezhou Chen, Zhaoxiang Liu외 5명|arXiv (Cornell University)|2019. 08. 21.

Face recognition and analysis참고 문헌 42인용 수 5

한 줄 요약

이 논문은 두 개의 시퀀스 투 시퀀스 모델(청취 및 발화용)과 GAN 기반 픽셀 수준의 애벌러를 사용하여 애벌러의 현실적이고 자연스러운 얼굴 반응을 생성하는 딥러닝 기반의 얼굴 대 얼굴 대화 시스템을 제안한다. 이 시스템은 ESPN 영상 데이터에서 얼굴 운동 단위와 머리 자세를 학습함으로써 최신 기술 수준의 현실성을 달성하여, 3D 모델 기반 기준선 대비 얼굴의 현실성과 시간적 일관성에서 뛰어난 성능을 보였다.

ABSTRACT

To improve the experiences of face-to-face conversation with avatar, this paper presents a novel conversation system. It is composed of two sequence-to-sequence models respectively for listening and speaking and a Generative Adversarial Network (GAN) based realistic avatar synthesizer. The models exploit the facial action and head pose to learn natural human reactions. Based on the models' output, the synthesizer uses the Pixel2Pixel model to generate realistic facial images. To show the improvement of our system, we use a 3D model based avatar driving scheme as a reference. We train and evaluate our neural networks with the data from ESPN shows. Experimental results show that our conversation system can generate natural facial reactions and realistic facial images.

연구 동기 및 목표

• 가상 비서가 얼굴 대 얼굴 대화 중 자연스럽지 않은 비언어적 피드백이 부족한 문제를 해결하기 위해.
• 대화에서 말하기와 듣기 역할을 인간과 유사하게 번갈아가며 모델링하기 위해.
• 3D 또는 동작 캡처 데이터 없이 딥 네트워크를 사용하여 생생한 얼굴 표정과 머리 움직임을 생성하기 위해.
• 음성과 비언어적 신호에서부터 현실적인 애벌러 이미지를 합성하는 엔드 투 엔드 시스템을 개발하기 위해.

제안 방법

• 시스템은 청취(화자의 신호에서 청자의 얼굴 운동과 머리 자세를 예측)와 발화(언어적 응답에서 화자의 얼굴 운동과 머리 자세를 예측)를 위한 두 개의 별도된 시퀀스 투 시퀀스(Sequence-to-Sequence, Seq2Seq) 모델을 사용한다.
• 비언어적 특징으로서 얼굴 운동 단위와 머리 자세는 입력 영상 프레임에서 추출되며, 이는 Seq2Seq 모델의 입력 및 출력으로 사용된다.
• 픽셀 수준의 고해상도이고 현실적인 얼굴 이미지를 예측된 얼굴 운동 단위와 머리 자세에서 생성하기 위해 Pix2Pix 기반 GAN을 사용한다.
• 시스템은 메트릭 학습을 통해 청취 및 발화 단계에서 특징 표현을 향상시키기 위해 ESPN 프로그램의 영상 데이터를 사용하여 훈련 및 평가한다.
• 애벌러 합성기에서는 생성된 출력에서 얼굴 특징을 재구성하고, 얼굴 운동 단위와 머리 자세에 대한 L1 손실을 사용하여 참값과 비교한다.

실험 결과

연구 질문

• RQ1 딥러닝 시스템은 얼굴 대 얼굴 대화 중에 자연스럽고 현실적인 애벌러의 얼굴 반응을 생성할 수 있는가?
• RQ2 시퀀스 투 시퀀스 모델은 음성과 청취 신호에서 비언어적 행동(얼굴 운동과 머리 자세)을 얼마나 효과적으로 예측할 수 있는가?
• RQ3 GAN 기반 이미지 합성 방법은 전통적인 3D 모델 기반 접근법보다 더 현실적인 애벌러 이미지를 생성할 수 있는가?
• RQ4 제안된 시스템은 얼굴의 현실성과 시간적 일관성 측면에서 기준선 방법을 초월하는가?

주요 결과

• 청취 단계에서 제안된 시스템은 기준선 대비 더 낮은 MSE(0.0540)와 더 높은 코사인 유사도(0.992)를 달성했으며, 기준선는 MSE: 0.0565, 코사인: 0.983였다.
• 발화 단계에서 시스템은 MSE 0.141 대 기준선 0.195, 코사인 유사도 0.980 대 기준선 0.9635로 기준선을 뚜렷이 뛰어넘었다.
• 애벌러 합성기에서는 청취 단계에서 얼굴 운동 단위에 대해 재구성 오차 0.046, 머리 자세에 대해 0.038을 기록했으며, 발화 단계에선 각각 0.105와 0.073였다.
• 시각적 비교 결과, 합성된 애벌러 이미지가 3D 모델 기반 애벌러의 것보다 더 현실적이며 참값에 더 가까웠다.
• 얼굴의 변화가 더 큰 발화 단계에서 성능 향상이 뚜렷하게 나타나, 복잡한 비언어적 패턴에 대해 제안된 메트릭 학습의 유용성이 입증되었다.