[논문 리뷰] Lip Movements Generation at a Glance

Lele Chen, Zhiheng Li외 3명|arXiv (Cornell University)|2018. 03. 28.

Speech and Audio Processing참고 문헌 26인용 수 3

한 줄 요약

이 논문은 단일 대상 정체성 이미지와 임의의 음성 오디오로부터 현실적이고 정체성을 유지하는 입술 운동을 생성하기 위한 새로운 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 오디오 및 이미지 임베딩을 융합하고 새로운 오디오-비주얼 상관 손실을 도입함으로써, 모델은 고도로 시간적으로 일관된, 사진처럼 사실적인, 정체성 충실도를 유지하는 16프레임의 입술 운동 시퀀스를 생성한다. 이는 GRID, LDC, LRW 데이터셋에서 정량적 및 정성적 평가 모두에서 최신 기술을 능가한다.

ABSTRACT

Cross-modality generation is an emerging topic that aims to synthesize data in one modality based on information in a different modality. In this paper, we consider a task of such: given an arbitrary audio speech and one lip image of arbitrary target identity, generate synthesized lip movements of the target identity saying the speech. To perform well in this task, it inevitably requires a model to not only consider the retention of target identity, photo-realistic of synthesized images, consistency and smoothness of lip images in a sequence, but more importantly, learn the correlations between audio speech and lip movements. To solve the collective problems, we explore the best modeling of the audio-visual correlations in building and training a lip-movement generator network. Specifically, we devise a method to fuse audio and image embeddings to generate multiple lip images at once and propose a novel correlation loss to synchronize lip changes and speech changes. Our final model utilizes a combination of four losses for a comprehensive consideration in generating lip movements; it is trained in an end-to-end fashion and is robust to lip shapes, view angles and different facial characteristics. Thoughtful experiments on three datasets ranging from lab-recorded to lips in-the-wild show that our model significantly outperforms other state-of-the-art methods extended to this task.

연구 동기 및 목표

• 학습 중에 대상의 영상 프레임이 필요 없이 단일 기준 이미지와 임의의 음성 오디오만을 사용하여 고해상도의 입술 운동을 생성하는 것.
• 다양한 정체성 간의 음성 언어와 입술 운동 사이의 복잡한 시간적 상관관계를 모델링하는 것.
• 생성된 입술 시퀀스가 시간적으로 일관되며 사진처럼 사실적이며, 수염이나 입술 모양과 같은 정체성 고유의 특징을 유지하는 것.
• 시야각, 얼굴 특징, 입술 기하학적 형태의 변동성에 강건한 훈련 프레임워크를 개발하는 것.
• 다양한 데이터셋, 특히 실외 환경에서도 정량적 지표와 정성적 현실감 모두에서 기존 방법을 능가하는 것.

제안 방법

• 모델은 시간적 연속 오디오 임베딩과 단일 이미지 정체성 임베딩을 융합하여 단일 순방향 전파로 16개의 연속된 입술 프레임을 생성하는 생성자 네트워크를 사용한다.
• 입술 운동 변화가 음성 신호 변화와 동기화되도록 하는 데 목적이 있는 새로운 오디오-비주얼 상관 손실이 도입된다.
• 훈련은 네 가지 손실 목표를 사용한다: 재구성 손실(픽셀 수준), 특징 공간 손실(지각 유사성), 삼중 스트림 적대적 손실(이미지 및 운동 품질), 그리고 제안된 오디오-비주얼 상관 손실.
• 판별자는 이미지 품질, 운동 부드러움, 오디오-비주얼 정렬을 함께 평가하기 위해 세 개의 스트림으로 구성된다.
• 모델 전체는 엔드 투 엔드 방식으로 훈련되어 정체성 유지, 시각적 품질, 오디오-비주얼 동기화를 공동 최적화할 수 있다.
• 분리된 임베딩과 다중 손실 훈련 덕분에 얼굴 특징(예: 수염), 입술 형태, 시야각의 변동성에 강건하다.

실험 결과

연구 질문

• RQ1 단일 기준 이미지 기반 입술 운동 생성 모델이 학습 중에 대상의 영상 프레임을 사용하지 않고도 높은 정체성 충실도와 시간적 일관성을 달성할 수 있는가?
• RQ2 엔드 투 엔드 훈련 중에 오디오-비주얼 상관관계를 효과적으로 모델링하고 강제로 적용할 수 있는가? 이를 통해 입술-음성 동기화가 향상되는가?
• RQ3 제한된 데이터로 훈련된 모델이 예측되지 않은 정체성과 실외 조건으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 입술 운동 생성에서 사진적 사실감, 운동의 부드러움, 오디오-비주얼 정렬을 가장 잘 균형 잡는 손실 조합은 무엇인가?
• RQ5 저해상도 입력이나 예측되지 않은 얼굴 특징이 있는 상황에서 모델의 성능은 어떻게 되는가?

주요 결과

• 제안된 모델은 LMD, PSNR, SSIM, CPBD 등의 여러 지표에서 GRID, LDC, LRW 세 데이터셋 전반에서 최신 기술을 크게 능가한다.
• 모델은 랜드마크 거리(LMD)와 PSNR에서 최고 성능을 기록하여, 단순 재구성 손실이나 표준 GAN을 사용하는 방법보다 우수한 정렬 및 픽셀 수준 정확도를 보인다.
• CPBD 지표는 LRW 데이터셋에서 모델이 지상 진술보다 더 선명한 이미지를 생성한다는 것을 보여주며, 이는 모델이 저해상도 입력을 향상시킬 수 있다는 능력 때문일 것이다.
• 정성적 결과는 학습 중에 대상 정체성이 보이지 않더라도 수염이나 얼굴 비대칭성과 같은 특징을 잘 유지하는 강력한 정체성 보존 능력을 보여준다.
• 더 큰 LRW 데이터셋으로 훈련된 모델은 GRID로 훈련된 모델보다 더 우수한 일반화 성능을 보이며, 특히 예측되지 않은 개인의 정체성 정보를 잘 유지한다.
• 강력한 성능에도 불구하고, 모델은 종종 피부 톤을 정확히 유지하지 못하는 경우가 있는데, 이는 LRW 데이터셋 내 데이터 불균형 때문일 것이다.