[논문 리뷰] Adversarial Contrastive Predictive Coding for Unsupervised Learning of Disentangled Representations.

Janek Ebbers, Michael Kuhlmann외 1명|arXiv (Cornell University)|2020. 05. 26.

Speech Recognition and Synthesis참고 문헌 24인용 수 8

한 줄 요약

이 논문은 병렬 데이터나 화자 레이블 없이, 적대적 대비 예측 코딩을 사용하여 음성 콘텐츠와 화자 요소를 비지도로 분리하는 완전 컨volutional 변동형 오토인코더를 제안한다. 이로 인해 상태최저 수준의 제로샷 음성 변환 성능을 달성하였으며, 예측되지 않은 화자에게도 적용 가능하다.

ABSTRACT

In this work we tackle disentanglement of speaker and content related variations in speech signals. We propose a fully convolutional variational autoencoder employing two encoders: a content encoder and a speaker encoder. To foster disentanglement we propose adversarial contrastive predictive coding. This new disentanglement method does neither need parallel data nor any supervision, not even speaker labels. With successful disentanglement the model is able to perform voice conversion by recombining content and speaker attributes. Due to the speaker encoder which learns to extract speaker traits from an audio signal, the proposed model not only provides meaningful speaker embeddings but is also able to perform zero-shot voice conversion, i.e. with previously unseen source and target speakers. Compared to state-of-the-art disentanglement approaches we show competitive disentanglement and voice conversion performance for speakers seen during training and superior performance for unseen speakers.

연구 동기 및 목표

• 병렬 데이터나 화자 레이블 없이도 음성 신호에서 화자와 콘텐츠 요소를 분리하는 것.
• 학습 중에 볼 수 없었던 원천 및 대상 화자로부터 학습된 콘텐츠 및 화자 임베딩만을 사용하여 제로샷 음성 변환을 가능하게 하는 것.
• 의미 있는 화자 임베딩을 생성하면서도 콘텐츠 분리가 유지되는 자기지도 기반 표현 학습 방법을 개발하는 것.
• 기존 방법에 비해 예측되지 않은 화자에게도 분리 표현의 일반화 성능을 향상시키는 것.

제안 방법

• 콘텐츠 및 화자 표현을 위한 두 개의 전용 인코더를 갖춘 완전 컨볼루션 변동형 오토인코더 아키텍처.
• 시간에 따라 예측 표현을 대비함으로써 분리를 유도하고, 적대적 학습을 통해 화자 특화 특징을 정교화하기 위해 적대적 대비 예측 코딩을 도입.
• 미래의 잠재 상태를 대비 예측함으로써 모델이 분리된 표현을 학습하며, 양성 쌍 간 유사성과 부정 쌍 간 이질성을 유도하는 대비 손실을 사용.
• 화자 인코더는 원시 음성에서 화자 특화 특징을 추출하여, 콘텐츠 및 화자 임베딩을 재조합함으로써 제로샷 음성 변환을 가능하게 한다.
• 학습 중에 병렬 데이터나 화자 주석을 사용하지 않으며, 자기지도 기반 대비 학습에 전적으로 의존.
• 분리된 표현을 사용하여 한 화자에서 다른 화자로 콘텐츠를 전이함으로써 음성을 합성함으로써, 재학습 없이도 음성 변환을 가능하게 한다.

실험 결과

연구 질문

• RQ1 적대적 대비 예측 코딩은 병렬 데이터나 레이블 없이도 화자와 콘텐츠 요소를 효과적으로 분리할 수 있는가?
• RQ2 학습 중에 볼 수 없었던 원천 및 대상 화자에게도 제로샷 음성 변환에 일반화되는가?
• RQ3 기존 최상위 수준의 방법과 비교해 본다면, 볼 수 있었던 화자와 볼 수 없었던 화자 모두에서 분리 품질은 어떻게 되는가?
• RQ4 제안된 방법은 화자 레이블 없이도 의미 있는 화자 임베딩을 생성하는가?

주요 결과

• 학습 중에 볼 수 있었던 화자에 대해서는 경쟁력 있는 분리 및 음성 변환 성능를 달성하였으며, 기존 최상위 수준의 기준선과 동등하거나 이를 초월하였다.
• 예측되지 않은 화자에 대해서는 제로샷 음성 변환에서 뛰어난 성능을 보였으며, 학습된 화자 표현의 강력한 일반화 능력을 시사한다.
• 화자 레이블이나 병렬 데이터가 없더라도 성능 저하가 발생하지 않아, 자기지도 기반 대비 접근의 효과성을 확인하였다.
• 화자 인코더는 원시 음성에서 의미 있는 화자 임베딩을 성공적으로 학습하여, 미세조정 없이도 정확한 음성 변환을 가능하게 하였다.
• 적대적 대비 예측 코딩 메커니즘이 잠재 공간에서 콘텐츠와 화자 요소를 분리함으로써 효과적으로 분리를 유도하였다.
• 원천 및 대상 화자가 학습 중에 볼 수 없었더라도, 콘텐츠 및 화자 특성의 재조합을 통해 고품질의 음성 변환을 가능하게 하였다.