[논문 리뷰] Wav2Pix: Speech-conditioned Face Generation using Generative Adversarial Networks

Amanda Duarte, Francisco Roldan외 8명|Dublin City University Open Access Institutional Repository (Dublin City University)|2019. 03. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 9

한 줄 요약

Wav2Pix는 정신적 신원 지도 없이 원시 음성 웨이브포뮬러에서 직접 고해상도 얼굴 이미지를 생성하는 조건부 GAN을 제안한다. 이는 표현력 있는 유튜uber 영상으로 구성된 정제된 데이터셋을 기반으로 한 자기지도 학습 방식을 사용한다. 모델은 얼굴 특징점 검출 정확도 90.25%를 달성하여 현실적인 얼굴 합성을 입증하였으며, 50.08%의 경우에서 화자 신원을 유지한다.

ABSTRACT

Speech is a rich biometric signal that contains information about the identity, gender and emotional state of the speaker. In this work, we explore its potential to generate face images of a speaker by conditioning a Generative Adversarial Network (GAN) with raw speech input. We propose a deep neural network that is trained from scratch in an end-to-end fashion, generating a face directly from the raw speech waveform without any additional identity information (e.g reference image or one-hot encoding). Our model is trained in a self-supervised approach by exploiting the audio and visual signals naturally aligned in videos. With the purpose of training from video data, we present a novel dataset collected for this work, with high-quality videos of youtubers with notable expressiveness in both the speech and visual signals.

연구 동기 및 목표

• 참조 이미지나 신원 레이블 없이 원시 음성에만 기반해 포토레알리스틱한 얼굴 이미지를 생성하는 것.
• 영상 데이터에서 자연스러운 청각-시각적 정렬을 활용해 다중모달 생성을 탐색하는 것.
• 약한 정렬 또는 저품질 데이터셋에 의존하지 않는 자기지도 학습 프레임워크를 개발하는 것.
• 음성 조건부 얼굴 생성을 위한 표현력 있는 유튜버 영상으로 구성된 고품질 정제된 데이터셋을 구축하는 것.
• 모델이 화자 신원을 유지하고 다양한 현실적인 얼굴 외형을 생성하는 능력을 평가하는 것.

제안 방법

• 조건부 최소제곱 GAN(LSGAN)을 사용하며, 생성기와 판별기 모두 원시 음성 웨이브포뮬러에 조건이 된다.
• 음성 인코더는 원시 음성에서 128차원 임베딩을 추출하고, 이를 투영하여 생성기와 판별기에 조건으로 사용한다.
• 생성기는 노이즈 벡터와 음성 임베딩을 기반으로 얼굴 이미지를 합성하고, 판별기는 진짜 얼굴과 생성된 얼굴을 구분한다.
• 새로운 정제된 고품질 유튜버 영상 데이터셋에서 정렬된 청각-시각 클립을 사용해 자기지도 학습을 수행한다.
• 손수 설계된 특징 또는 신원 지도 없이 엔드 투 엔드로 끝내기까지 훈련한다.
• 잔차 블록과 역전치 컨볼루션을 포함한 다단계 U-Net 유사 아키텍처를 이미지 생성에 사용한다.

실험 결과

연구 질문

• RQ1 정신적 신원 지도나 참조 이미지 없이도 GAN이 원시 음성 웨이브포뮬러에서 현실적인 얼굴 이미지를 직접 생성할 수 있는가?
• RQ2 음성 조건부 GAN은 생성된 얼굴에서 화자 신원을 얼마나 잘 유지하는가?
• RQ3 음성 세그먼트 길이와 이미지 해상도는 생성된 얼굴의 품질과 검출 가능성에 어떤 영향을 미치는가?
• RQ4 훈련 중에 노이즈가 많거나 저품질의 음성 입력을 받을 경우 모델 성능은 어떻게 저하되는가?
• RQ5 자연스러운 영상 정렬을 활용한 자기지도 접근 방식이 명시적인 신원 레이블이 필요한 방법보다 우수한가?

주요 결과

• 생성된 이미지에서 얼굴 특징점 검출 정확도가 90.25%에 도달하여 얼굴 구조와 현실성의 강한 유지가 확인되었다.
• 테스트 케이스의 50.08%에서 화자 신원이 유지되어 중간 정도이지만 의미 있는 신원 전이가 이루어졌다.
• 1000ms 음성 조각을 사용할 경우 가장 높은 얼굴 검출 정확도(90.25%)를 기록했으며, 300ms와 700ms 조각은 각각 81.16%와 89.12%로 떨어졌다.
• 해상도가 낮아지면 이미지 품질이 크게 떨어지며, 64×64 생성 이미지는 128×128 출력보다 더 흐릿하게 보였다.
• 배경 소음이나 다중 화자 클립과 같은 노이즈가 많거나 저품질의 음성으로 조건이 주어지면 인식 가능한 얼굴을 생성하지 못했다.
• 짧은 음성 세그먼트와 낮은 해상도 이미지에서 성능 저하가 발생하여 입력 품질과 공간 차원에 민감한 것으로 나타났다.