[논문 리뷰] Blow: a single-scale hyperconditioned flow for non-parallel raw-audio voice conversion

Joan Serrà, Santiago Pascual외 1명|arXiv (Cornell University)|2019. 06. 03.

Speech Recognition and Synthesis참고 문헌 50인용 수 35

한 줄 요약

Blow는 하이퍼네트워크 조건화를 갖춘 단일 스케일 정규화 흐름으로, 원시 오디오에서 다대다 비평행 음성 변환을 수행하며, 객관적 및 주관적 결과에서 경쟁력을 보입니다.

ABSTRACT

End-to-end models for raw audio generation are a challenge, specially if they have to work with non-parallel data, which is a desirable setup in many situations. Voice conversion, in which a model has to impersonate a speaker in a recording, is one of those situations. In this paper, we propose Blow, a single-scale normalizing flow using hypernetwork conditioning to perform many-to-many voice conversion between raw audio. Blow is trained end-to-end, with non-parallel data, on a frame-by-frame basis using a single speaker identifier. We show that Blow compares favorably to existing flow-based architectures and other competitive baselines, obtaining equal or better performance in both objective and subjective evaluations. We further assess the impact of its main components with an ablation study, and quantify a number of properties such as the necessary amount of training data or the preference for source or target speakers.

연구 동기 및 목표

• 원시 오디오에서 비평행 다대다 음성 변환을 다룬다.
• 화자 식별을 위한 하이퍼컨디셔닝이 있는 단일 스케일 흐름 아키텍처를 개발한다.
• Blaze를 플로우 기반 기준선 및 비플로우 음성 변환 시스템과 비교 평가한다.
• 아키텍처 및 데이터 증강 구성 요소의 영향력을 정량화하기 위한 소거(ablation) 연구를 수행한다.

제안 방법

• 8개 블록과 각 블록당 12개의 흐름(8x12)을 갖는 Glow 영감을 받은 단일 스케일 흐름을 사용한다.
• 소스 x(S)가 소스 조건하에 잠재 z로 매핑되고, z가 타깃 조건하에 x(T)로 매핑되는 순방향-역방향 변환을 사용한다.
• 공유된 화자 임베딩으로부터 생성된 가중치를 사용하는 하이퍼네트워크로 첫 번째 coupling 네트워크 층을 조건화하여 하이퍼컨디셔닝을 구현한다.
• 조건화를 제약하기 위해 모든 coupling 네트워크 및 모든 스텝에서 단일 화자 임베딩을 공유한다.
• 원시 오디오 프레임을 시간적 지터, 프리-/디엠퍼시스, 진폭 스케일링, 부호 반전에 의해 증강한다.
• 잠재 z에 등방성 가우시안 사전분포를 두고 정확한 로그 가능도(log-likelihood)를 최대화하도록 학습한다.

실험 결과

연구 질문

• RQ1 단일 스케일 하이퍼컨디셔닝 흐름이 원시 오디오에서 비평행 다대다 음성 변환에 경쟁력 있는 성과를 낼 수 있는가?
• RQ2 순방향-역방향 변환과 공유 임베딩이 변환 품질 및 가능도에 미치는 영향은?
• RQ3 데이터 증강 전략이 성능과 강건성에 미치는 영향은?
• RQ4 각 아키텍처 구성요소(하이퍼컨디셔닝, 공유 임베딩, 단일 스케일 구조)가 객관적 및 주관적 지표에 미치는 상대적 중요도는?

주요 결과

접근 방식	L [nat/dim]	Spoofing [%]	자연스러움 [1–5]	유사도 [%]
Source as target	n/a	1.1	4.83	10.6
Target as target	n/a	99.3	4.83	98.5
Glow	4.11	1.2	n/a	n/a
Glow-WaveNet	4.18	3.1	n/a	n/a
StarGAN	n/a	44.4	2.87	61.8
VQ-VAE	n/a	65.0	2.42	69.7
Blow	4.45	89.3	2.83	77.6

• Blow는 객관적 평가에서 Glow 및 Glow-WaveNet보다 더 높은 로그 가능도(L)를 달성한다.
• Blow는 VQ-VAE보다 위조(spoofing) 정확도가 더 높아 화자 정체성 전이 저항이 더 우수함을 시사한다.
• 주관적 결과는 Blow가 StarGAN과 자연스러움에서 비슷하고, 대상과의 유사도는 StarGAN이나 VQ-VAE보다 더 높음을 보인다.
• 소거 연구에서 단일 스케일 구조가 성능의 가장 중요한 구성요소로 나타났다.
• 데이터 증강은 객관적 지표와 위조 방지 지표 모두를 크게 향상시킨다.
• 변환 성능은 대상 화자 정체성에 강하게 의존하며, 소스 정체성의 영향은 상대적으로 작다.