[논문 리뷰] End-to-end Learning for 3D Facial Animation from Raw Waveforms of Speech

Hai Pham, Yuting Wang외 1명|arXiv (Cornell University)|2017. 10. 02.

Face recognition and analysis참고 문헌 34인용 수 15

한 줄 요약

이 논문은 수작업으로 만든 음성 특징에 의존하지 않고, 원시 음성 웨이브폼을 그대로 3D 얼굴 애니메이션 파라미터(얼굴 운동 단위 및 머리 회전 포함)로 매핑하는 엔드 투 엔드 딥 러닝 프레임워크를 제시한다. 모델은 음성에서 시간적 동적 특성과 정서 강도를 학습하기 위해 CNN+GRU 아키텍처를 사용하여 실시간으로, 화자 독립적인 애니메이션을 구현하며 미세한 표정과 정서 상태의 현실성 향상을 달성한다.

ABSTRACT

We present a deep learning framework for real-time speech-driven 3D facial animation from just raw waveforms. Our deep neural network directly maps an input sequence of speech audio to a series of micro facial action unit activations and head rotations to drive a 3D blendshape face model. In particular, our deep model is able to learn the latent representations of time-varying contextual information and affective states within the speech. Hence, our model not only activates appropriate facial action units at inference to depict different utterance generating actions, in the form of lip movements, but also, without any assumption, automatically estimates emotional intensity of the speaker and reproduces her ever-changing affective states by adjusting strength of facial unit activations. For example, in a happy speech, the mouth opens wider than normal, while other facial units are relaxed; or in a surprised state, both eyebrows raise higher. Experiments on a diverse audiovisual corpus of different actors across a wide range of emotional states show interesting and promising results of our approach. Being speaker-independent, our generalized model is readily applicable to various tasks in human-machine interaction and animation.

연구 동기 및 목표

• 원시 음성 웨이브폼만으로 실시간으로, 화자 독립적인 3D 얼굴 애니메이션 시스템을 개발하기.
• 명시적인 정서 레이블 없이도 음성의 시간에 따라 변화하는 맥락 정보와 정서 상태를 모델링하기.
• MFCC나 크로마그램과 같은 공 ing된 음성 특징(예: MFCCs 또는 chromagrams)에 의존하지 않도록 하여 정서 특화 세부 정보 손실을 방지하기.
• 엔드 투 엔드 학습을 통해 미세한 움직임과 정서 강도를 반영한 부드럽고 현실적인 얼굴 애니메이션 생성하기.
• 원시 음성에서 잠재 표현을 학습하여 음성 기반 3D 아바타의 일반화 능력과 현실성 향상시키기.

제안 방법

• 모델은 원시 음성의 푸리에 변환 스펙트로그램에서 의미 있는 스펙트럼 표현을 직접 추출하기 위해 합성곱 신경망(CNN)을 사용한다.
• CNN 다음에 게이팅 순환 단위(GRU) 레이어를 연결하여 시간적 종속성과 얼굴 운동의 동적 전이를 모델링한다.
• 네트워크는 중간 단계의 음소 또는 비즈먼 표현을 거치지 않고, 엔드 투 엔드 방식으로 얼굴 운동 단위 활성화와 머리 회전 파라미터를 출력한다.
• 3D 얼굴 모델은 네트워크 출력에서 유도된 블렌드쉐이프 가중치에 의해 구동되어 현실적인 표정 합성 가능하다.
• 프레임워크는 원시 웨이브폼과 참조 3D 얼굴 랜드마크를 사용하여 RAVDESS 데이터셋에서 엔드 투 엔드로 훈련된다.
• 비교를 위해 프레임 단위로 독립적으로 처리하는 기준 CNN-static 모델을 사용한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 수작업 특징 없이 원시 음성 웨이브폼에서 직접 현실적인 3D 얼굴 애니메이션을 생성할 수 있는가?
• RQ2 모델은 음성만으로도 정서 강도와 정서 상태를 암묵적으로 추론하고 재현할 수 있는가?
• RQ3 LSTM/GRU와 같은 순환 레이어를 포함한 모델과 프레임 단위 기반 기준 모델 간의 시간적 부드러움과 정확도에서 어떤 차이가 있는가?
• RQ4 MFCCs와 같은 공 ing된 특징 대신 원시 스펙트로그램을 사용할 경우, 미세한 정서 자극을 포착하는 데 모델의 능력이 향상되는가?
• RQ5 다양한 화자와 정서 상태를 포함한 다양한 음성영상 코퍼스에서 모델의 일반화 능력은 어느 정도인가?

주요 결과

• CNN+GRU 모델은 모든 정서 카테고리와 테스터에서 가장 낮은 랜드마크 오차(0.7mm RMSE)를 기록하여 기준 모델과 CNN+LSTM 모델을 모두 앞선다.
• CNN-static 기준 모델은 순환 구조가 없음에도 불구하고 일반화 능력이 뛰어나 다른 모델보다 30% 낮은 오차 지표를 기록하지만, 부드럽지 않은 얼굴 전이를 유도한다.
• CNN+GRU 모델은 CNN+LSTM보다 더 나은 일반화 능력을 보이며, GRU의 더 단순한 아키텍처가 훈련 데이터에서 과적합을 줄이는 데 기여함을 시사한다.
• 모델은 기쁨의 말투에서 더 넓어진 입술 운동이나 놀람의 표정에서 올라간 눈썹과 같은 미세한 얼굴 운동을 성공적으로 재현하여 암묵적 정서 모델링 능력을 입증한다.
• 결과는 CNN가 원시 음성에서 얼굴 운동 표현을 효과적으로 학습할 수 있지만, 순환 레이어는 정규화가 철저히 이루어지지 않으면 과적합이 발생할 수 있음을 시사한다.
• 모델은 타당한 머리 회전을 생성하지만, 헤드 포즈 추정은 주요 목적이 아니며 얼굴 파라미터 추정보다 정확도가 떨어진다.