[논문 리뷰] Learning Individual Speaking Styles for Accurate Lip to Speech Synthesis

K R Prajwal, Rudrabha Mukhopadhyay외 2명|arXiv (Cornell University)|2020. 05. 17.

Speech and Audio Processing참고 문헌 41인용 수 10

한 줄 요약

이 논문은 비제약적, 대규모 어휘를 가진 입모양 영상에서 개인의 발화 스타일을 학습하여 정확하고 자연스러운 음성 생성을 하는 sequence-to-sequence 모델인 Lip2Wav을 제안한다. 이전 연구에 비해 80배 더 많은 데이터와 100배 더 큰 어휘량을 가진 120시간 분량의 개인별 특화 데이터셋을 활용함으로써, 제약 없는 환경에서 이전 방법 대비 사투리성(음성 이해도)이 4배 향상된 결과를 달성한다.

ABSTRACT

Humans involuntarily tend to infer parts of the conversation from lip movements when the speech is absent or corrupted by external noise. In this work, we explore the task of lip to speech synthesis, i.e., learning to generate natural speech given only the lip movements of a speaker. Acknowledging the importance of contextual and speaker-specific cues for accurate lip-reading, we take a different path from existing works. We focus on learning accurate lip sequences to speech mappings for individual speakers in unconstrained, large vocabulary settings. To this end, we collect and release a large-scale benchmark dataset, the first of its kind, specifically to train and evaluate the single-speaker lip to speech task in natural settings. We propose a novel approach with key design choices to achieve accurate, natural lip to speech synthesis in such unconstrained scenarios for the first time. Extensive evaluation using quantitative, qualitative metrics and human evaluation shows that our method is four times more intelligible than previous works in this space. Please check out our demo video for a quick overview of the paper, method, and qualitative results. https://www.youtube.com/watch?v=HziA-jmlk_4&feature=youtu.be

연구 동기 및 목표

• 비제약적, 대규모 어휘 환경에서 정확한 입모양에서 음성으로의 변환을 해결하기 위해 다수의 발화자나 제약 조건이 없는 설정이 아닌 개인 발화자를 중심으로 접근한다.
• 유사한 입모양을 가진 청각적으로 구분 가능한 음소(동음이의음소)의 모호함을 해결하기 위해 개인별 및 맥락 기반의 청각-시각적 신호를 모델링한다.
• 120시간 분량의 자연스럽고 비제약적인 음성 데이터를 포함한 대규모 공개 기준 데이터셋(Lip2Wav)을 수집하고 공개하여 단일 발화자 기반의 입모양에서 음성으로의 변환 모델링을 강력하게 지원한다.
• 단일 발화자에 대한 장기적 관찰을 통해 학습함으로써 침묵된 입모양 영상에서 유창하고 이해 가능한 음성을 생성하는 sequence-to-sequence 모델을 개발한다.
• 장기적 시각적 맥락 모델링을 통해 개인별 동적 특성을 모델링하면 음성 합성 품질과 이해도가 크게 향상됨을 입증한다.

제안 방법

• 모델은 sequence-to-sequence 아키텍처를 사용하며, 3D-CNN 기반의 시각 인코더가 영상 프레임에서의 시공간적 입모양 움직임을 처리하여 공간적 및 시간적 특징을 모두 캐처한다.
• 이중화된 맥락 창을 3초(이전 연구 대비 약 6배 길어진)로 설정하여, 동일한 맥락 내에서 발생하는 패턴을 통해 동음이의음소의 해석을 향상시킨다.
• Transformer 기반 디코더가 자기주도적으로 음성을 생성하며, 시각적 특징과 함께 자기주도적 어텐션 메커니즘을 통해 관련된 입모양 영상 프레임에 주의를 기울인다.
• 학습 중에 교사 강요(teacher forcing)를 점진적으로 감소시켜 일반화 능력을 향상시키고 학습어휘에 대한 과적합을 줄인다.
• 시각 인코더는 입술 부위에 매우 민감하게 반응하도록 설계되었으며, 활성화 맵과 어텐션 정렬 곡선을 통해 입술 움직임에 강한 집중을 보임을 확인하였다.
• 다양한 시각 인코더 아키텍처(2D-CNN, 2D+1D-CNN, 3D-CNN)를 평가하였으며, 3D-CNN가 시공간적 동적 특징을 더 잘 캐치하는 데 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 수동으로 레이블링된 데이터 없이, 장기적인 입모양 움직임 관찰만으로 데이터 기반 모델이 정확하고 개인별 특화된 음성 패턴을 학습할 수 있는가?
• RQ2 입모양의 맥락 창을 늘리면 입모양에서 음성으로의 변환에서 동음이의음소의 해석에 어떤 영향을 미치는가?
• RQ3 점진적인 교사 강요 감소는 입모양에서 음성으로의 생성에서 미리보지 않은 어휘에 대한 일반화 능력과 성능 향상에 어느 정도 기여하는가?
• RQ4 다양한 시각 인코더 아키텍처는 입모양 영상에서의 시공간적 특징을 얼마나 잘 캐치하는가?
• RQ5 대규모 비제약적 단일 발화자 데이터셋을 기반으로 학습된 sequence-to-sequence 모델은 이전의 다수 발화자 또는 소규모 어휘 접근 방식에 비해 상당히 높은 이해도와 자연스러움을 달성할 수 있는가?

주요 결과

• 제안된 Lip2Wav 모델은 검증 세트에서 STOI(0.446), ESTOI(0.311), PESQ(1.290)를 측정하여 이전 방법 대비 4배 높은 음성 이해도를 달성하였다.
• 3초의 맥락 창을 사용할 경우 짧은 창(0.5초 및 1.5초) 대비 성능 향상이 뚜렷했으며, STOI는 0.264에서 0.446으로 상승하여 장기적 맥락의 유용성을 입증하였다.
• 점진적인 교사 강요 감소는 모델의 일반화 능력을 향상시켜, 항상 강요된 경우 STOI 0.221에서 0.446으로 상승시켰으며, 학습어휘에 대한 과적합 감소를 시사한다.
• 3D-CNN 시각 인코더는 2D-CNN 및 2D+1D-CNN 변형보다 뛰어난 성능을 보였으며, 최고의 STOI(0.446), ESTOI(0.311), PESQ(1.290) 점수를 기록하였다.
• 인간 평가 결과, 생성된 음성이 이전 연구 대비 더 자연스럽고 유창하며 제약 없는 환경에서의 이해도가 향상됨을 확인하였다.
• 어텐션 시각화 결과, 모델이 입술 부위에 강하게 집중하고 있으며, 디코더 출력이 해당 입모양 영상 프레임과 정렬됨을 확인하여 관련 시각적 신호에 대한 집중이 타당함을 검증하였다.