[논문 리뷰] From Inference to Generation: End-to-end Fully Self-supervised Generation of Human Face from Speech

Hyeong-Seok Choi, Changdae Park외 1명|arXiv (Cornell University)|2020. 04. 13.

Speech and Audio Processing참고 문헌 28인용 수 13

한 줄 요약

이 논문은 인간의 얼굴 이미지를 인간의 레이블이 전혀 없는 데이터를 사용하여 음성 웨이브폼에서 직접 생성하는 종단간(end-to-end), 완전히 자기지도(self-supervised) 프레임워크를 제안한다. 교차 모odal 정체성 매칭을 위한 추론 네트워크를 훈련하고, 새로운 상대적 정체성 GAN 손실(relidGANs)을 사용해 조건부 GAN(conditional GAN)과 통합함으로써, 음성과 관련된 정체성 요소를 관련 없는 얼굴적 특성에서 분리시켜, 음성에서의 얼굴 생성 및 검색 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This work seeks the possibility of generating the human face from voice solely based on the audio-visual data without any human-labeled annotations. To this end, we propose a multi-modal learning framework that links the inference stage and generation stage. First, the inference networks are trained to match the speaker identity between the two different modalities. Then the trained inference networks cooperate with the generation network by giving conditional information about the voice. The proposed method exploits the recent development of GANs techniques and generates the human face directly from the speech waveform making our system fully end-to-end. We analyze the extent to which the network can naturally disentangle two latent factors that contribute to the generation of a face image - one that comes directly from a speech signal and the other that is not related to it - and explore whether the network can learn to generate natural human face image distribution by modeling these factors. Experimental results show that the proposed network can not only match the relationship between the human face and speech, but can also generate the high-quality human face sample conditioned on its speech. Finally, the correlation between the generated face and the corresponding speech is quantitatively measured to analyze the relationship between the two modalities.

연구 동기 및 목표

• 자신의 레이블이 없는 자료만을 사용하여 음성 신호에서 인간의 얼굴 이미지를 생성할 수 있는지 조사하는 것.
• 인퍼런스와 생성 단계를 연결하는 완전한 종단간 프레임워크를 개발하여 인간의 레이블이 없는 환경에서 작동하도록 하는 것.
• 음성에서 정체성과 관련된 요소를 비음성적 얼굴적 특성에서 분리하여 분리된 잠재 공간에 매핑함으로써 생성 정밀도를 향상시키는 것.
• 생성된 얼굴과 입력 음성 간의 정체성 일致성을 향상시키기 위한 새로운 손실 함수를 설계하는 것.
• 자기지도 설정에서 인퍼런스, 생성, 얼굴 검색 작업에 대한 모델 성능을 검증하는 것.

제안 방법

• 두 단계 프레임워크: 첫째, 자기지도 대비 학습을 통해 음성 및 얼굴 인코더 네트워크를 사용해 모odal 간 정체성 매칭을 훈련한다.
• 훈련된 음성 인코더는 조건부 GAN(cGAN) 생성기에서 사용하기 위해 가짜 조건부 임베딩을 생성하는 데 재사용된다.
• 얼굴-음성 쌍 간의 정합성에 대한 향상을 위해 새로운 상대적 정체성 조건부 GAN 손실(relidGANs)을 도입한다.
• 생성기는 음성 인코딩된 임베딩과 확률적 노이즈 벡터를 조건으로 하여 음성 외의 얼굴적 특성을 모델링한다.
• 판별기는 진짜와 가짜 얼굴-음성 쌍을 구분하도록 훈련되며, relidGANs 손실이 정체성 일치성을 강화한다.
• 프레임워크는 '실생활' 기록에서의 원시 음성 및 영상 데이터만을 사용하여 종단간 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 완전히 자기지도 모델이 인간의 레이블 없이 음성과 얼굴 간의 정체성을 매칭할 수 있는가?
• RQ2 생성 모델이 음성 웨이브폼만을 조건으로 하여 고해상도 얼굴 이미지를 생성할 수 있는가?
• RQ3 모델이 음성과 관련된 정체성 요소를 관련 없는 얼굴적 특성에서 어느 정도 분리할 수 있는가?
• RQ4 제안된 relidGANs 손실이 표준 cGANs에 비해 생성된 얼굴 이미지의 정체성 일치성을 향상시키는가?
• RQ5 생성된 얼굴 이미지를 검색 쿼리로 사용했을 때, 화자 정체성이 얼마나 잘 유지되는가?

주요 결과

• 2-way 얼굴-음성 매칭 작업에서, 인퍼런스 네트워크는 생성된 얼굴에 대해 해당 음성을 79.68%의 정확도로 정확히 매칭했다.
• 생성된 얼굴을 입력으로 사용한 2-way 얼굴-음성 매칭 테스트에서, 인퍼런스 네트워크는 올바른 음성 세그먼트를 95.14%의 정확도로 선택했다.
• L1 거리 기반으로 top-1 얼굴 검색 정확도가 12.97%를 기록하여, Speech2Face(8.34%)를 능가하며 relidGANs 손실의 효과를 입증했다.
• 정합성 손실(mismatched identity loss, mil)을 제거한 모델은 top-1 검색 정확도가 오직 7.32%에 머물러, relidGANs 손실의 핵심적 역할을 확인했다.
• top-5 검색 결과는 정확한 화자 얼굴 이미지를 일관되게 검색함으로써 강력한 정체성 유지 능력을 보였다.
• 정량적 분석을 통해 relidGANs 손실이 GAN 훈련 과정에서 분류 능력을 향상시켜 정체성 일치성과 생성 품질을 크게 향상시킨다는 것이 확인되었다.