[논문 리뷰] Seeing What You Said: Talking Face Generation Guided by a Lip Reading Expert

Jiadong Wang, Xinyuan Qian외 3명|arXiv (Cornell University)|2023. 03. 29.

Speech and Audio Processing인용 수 5

한 줄 요약

이 논문은 독해 가능성을 향상시키기 위해 훈련 중에 잘못된 입모양을 방지하기 위해 입독사 전문가를 통합한 새로운 대화형 얼굴 생성 모델인 TalkLip을 제안한다. 자기지도 학습 기반의 음성-시각 표현 학습과 글로벌로 문맥화된 음성 트랜스포머를 활용한 대비 학습을 도입하여 TalkLip은 단어 오류율(38% WER on LRS2)과 정확도(27.8% on LRW)에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 동기화 및 시각 품질을 유지하면서도 기존 방법에 비해 독해 가능성을 크게 향상시켰다.

ABSTRACT

Talking face generation, also known as speech-to-lip generation, reconstructs facial motions concerning lips given coherent speech input. The previous studies revealed the importance of lip-speech synchronization and visual quality. Despite much progress, they hardly focus on the content of lip movements i.e., the visual intelligibility of the spoken words, which is an important aspect of generation quality. To address the problem, we propose using a lip-reading expert to improve the intelligibility of the generated lip regions by penalizing the incorrect generation results. Moreover, to compensate for data scarcity, we train the lip-reading expert in an audio-visual self-supervised manner. With a lip-reading expert, we propose a novel contrastive learning to enhance lip-speech synchronization, and a transformer to encode audio synchronically with video, while considering global temporal dependency of audio. For evaluation, we propose a new strategy with two different lip-reading experts to measure intelligibility of the generated videos. Rigorous experiments show that our proposal is superior to other State-of-the-art (SOTA) methods, such as Wav2Lip, in reading intelligibility i.e., over 38% Word Error Rate (WER) on LRS2 dataset and 27.8% accuracy on LRW dataset. We also achieve the SOTA performance in lip-speech synchronization and comparable performances in visual quality.

연구 동기 및 목표

• 听覚 장애를 가진 사용자에게 핵심적인 독해 가능성을 고려하지 않은 기존의 음성 기반 대화형 얼굴 생성 기법의 한계를 해결하기 위해.
• 입독사 전문가를 활용한 새로운 다중모달 대비 학습 전략을 도입하여 입-음성 동기화를 향상시키기 위해.
• 입독사 전문가와 동시에 동기적으로 훈련된 트랜스포머 인코더를 사용해 음성의 장기적 시간적 의존성을 모델링하기 위해.
• 독해 가능성을 객관적으로 측정하기 위해 두 개의 입독사 전문가를 사용하는 새로운 평가 전략을 제안하기 위해.
• 입독사 데이터 부족 문제를 보완하기 위해 AV-Hubert를 사용해 음성-시각 자기지도 학습 방식으로 전문가를 훈련시키기 위해.

제안 방법

• 생성된 얼굴 영상 시퀀스를 입독사 전문가가 텍스트로 변환하고, 이 변환 오차를 손실 함수로 사용하여 훈련 중 잘못된 입모양을 방지한다.
• 입독사 전문가는 AV-Hubert라는 자기지도 학습 기반 음성-시각 표현 학습 방법을 사용해 사전 훈련되며, 대규모 수동 레이블이 없더라도 강력한 성능을 발휘할 수 있다.
• 생성기에서 추출한 음성 임베딩과 입독사 인코더에서 추출한 시각적 문맥 특징 간의 대비 학습 목표를 도입하여 입-음성 동기화를 향상시킨다.
• 전체 발화 문맥을 고려한 글로벌 시간적 의존성을 포괄하는 트랜스포머 기반 음성 인코더를 사용하여, 발음 단위 수준의 표현과 동기화를 향상시킨다.
• 입독사 손실, 대비 손실, 기존의 GAN 및 인지적 손실의 조합으로 생성기를 훈련시켜 독해 가능성, 동기화, 시각 품질 간 균형을 맞춘다.
• 연속된 발화에서의 단어 오류율과 고립된 단어에서의 정확도를 측정하기 위해 두 개의 별도된 입독사 전문가를 사용하는 새로운 평가 프로토콜을 제안한다.

실험 결과

연구 질문

• RQ1 입독사 전문가를 감독 신호로 통합함으로써 생성된 대화형 얼굴 영상의 독해 가능성이 향상되는가?
• RQ2 음성과 시각적 특징 간의 대비 학습이 대화형 얼굴 생성에서 입-음성 동기화를 향상시키는가?
• RQ3 글로벌로 문맥화된 음성 인코더는 국소적 또는 단기적 인코더에 비해 발음 단위 수준의 표현과 동기화를 향상시키는가?
• RQ4 입독사 전문가의 자기지도 사전 훈련이 입독사 데이터 부족 문제를 보완하는 데 효과적인가?
• RQ5 다중 입독사 전문가를 사용하는 새로운 평가 전략이 대화형 얼굴 생성의 독해 가능성에 대해 신뢰성 있고 객관적인 벤치마크를 제공하는가?

주요 결과

• TalkLip은 LRS2 데이터셋에서 38%의 단어 오류율을 기록하여 기존 최신 기술 수준(SOTA) 방법에 비해 독해 가능성이 뚜렷이 향상됨을 확인하였다.
• LRW 데이터셋에서 TalkLip은 고립된 단어 인식 정확도 27.8%를 달성하여 기존 접근 방식보다 뛰어난 독해 가능성을 입증하였다.
• 입독사 손실의 통합으로 LRS2에서 최소 26.5% 이상, LRW에서 최소 31.2% 이상의 독해 가능성 향상이 이루어졌으며, 이는 그 효과를 확인하는 데 기여하였다.
• 대비 학습으로 유사 단어 간 임베딩 혼동(예: 'Meeting' vs. 'Media')을 감소시켜 LRS2에서 최소 6.5% WER 감소 및 LRW에서 최소 3.39% 정확도 향상을 이끌어내어 동기화와 독해 가능성을 향상시켰다.
• 글로벌 음성 트랜스포머 인코더는 국소 인코더보다 성능이 뛰어나 WER와 정확도 모두 향상되었으며, 장기적 시간적 의존성을 모델링하는 데 유의미한 이점이 있음을 확인하였다.
• 이중 입독사 전문가를 사용하는 제안된 평가 전략은 독해 가능성에 대해 신뢰성 있고 재현 가능한 벤치마크를 제공하였으며, 코드는 공개되었다.