[논문 리뷰] Voice Conversion Using Sequence-to-Sequence Learning of Context Posterior Probabilities

Hiroyuki Miyoshi, Yuki Saito외 2명|arXiv (Cornell University)|2017. 04. 10.

Speech Recognition and Synthesis참고 문헌 19인용 수 11

한 줄 요약

이 논문은 원천 음성의 문맥 후행 확률을 목표 음성의 것으로 변환함으로써 말하는 속도 및 음소적 특성과 같은 발화자 특수 특징을 더 잘 모델링할 수 있도록 하는 음성 변환을 위한 순서-순서 학습 프레임워크를 제안한다. 음성 인식, 후행 확률 변환, 음성 합성 모듈을 공동으로 훈련시킴으로써, 공유된 후행 확률을 사용하는 기존의 음성 변환 대비 더 뛰어난 발화자 유사성과 음성 품질을 달성한다.

ABSTRACT

Voice conversion (VC) using sequence-to-sequence learning of context posterior probabilities is proposed. Conventional VC using shared context posterior probabilities predicts target speech parameters from the context posterior probabilities estimated from the source speech parameters. Although conventional VC can be built from non-parallel data, it is difficult to convert speaker individuality such as phonetic property and speaking rate contained in the posterior probabilities because the source posterior probabilities are directly used for predicting target speech parameters. In this work, we assume that the training data partly include parallel speech data and propose sequence-to-sequence learning between the source and target posterior probabilities. The conversion models perform non-linear and variable-length transformation from the source probability sequence to the target one. Further, we propose a joint training algorithm for the modules. In contrast to conventional VC, which separately trains the speech recognition that estimates posterior probabilities and the speech synthesis that predicts target speech parameters, our proposed method jointly trains these modules along with the proposed probability conversion modules. Experimental results demonstrate that our approach outperforms the conventional VC.

연구 동기 및 목표

• 말하는 속도 및 음소적 특성과 같은 발화자 특수 특징을 전달하는 데에 한계가 있는 기존 음성 변환의 문제를 해결하기 위해.
• 원천 음성의 후행 확률을 목표로 변환하는 순서-순서 모델을 개발하여 비선형적이고 길이가 가변적인 변환을 가능하게 하기 위해.
• 음성 인식, 후행 확률 변환, 음성 합성 모듈을 통합하는 공동 훈련 알고리즘을 제안하여 종단 간 최적화를 실현하기 위해.
• 주관적 평가와 객관적 지표(예: 멜-세프트랄 왜곡) 모두에서 음성 변환 성능을 향상시키기 위해, 특히 발화자 유사성 측면에서 향상시키기 위해.

제안 방법

• 원천 음성의 후행 확률 시퀀스에서 목표 후행 확률 시퀀스로 비선형적이고 길이가 가변적인 매핑을 학습하기 위한 인코더-디코더 아키텍처를 도입한다.
• 문자 의존 음성 변환 프레임워크에서 기존의 음성 인식 모듈과 음성 합성 모듈 사이에 후행 확률 변환 모듈을 삽입한다.
• 음성 인식, 후행 확률 변환, 음성 합성의 세 구성 요소를 공통 목적 함수를 사용하여 공동으로 훈련시킨다.
• 음성 인식 훈련에는 교차 엔트로피를, 음성 합성 훈련에는 평균 제곱오차를 사용하며, 정렬과 표현을 향상시키기 위해 공동 최적화를 실시한다.
• 부분적으로 대응되는 데이터(예: 일치하는 어구 쌍)를 활용하여 후행 확률의 순서-순서 변환을 지도학습한다.
• 훈련 및 평가 중에 동적 시간 왜곡(DTW)을 사용하지만, 순서-순서 학습이 DTW에 의한 스펙트럼 왜곡을 감소시킴을 보여준다.

실험 결과

연구 질문

• RQ1 문맥 후행 확률의 순서-순서 학습이 말하는 속도 및 음소적 특성과 같은 발화자 특수 특징의 전달에 향상 효과를 줄 수 있는가?
• RQ2 인식, 변환, 합성 모듈의 공동 훈련이 별도 훈련과 비교해 음성 변환 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 비대응 데이터에서 정렬 오류로 인한 스펙트럼 왜곡을 줄이는가?
• RQ4 공동 훈련이 주관적 평가에서 발화자 유사성과 음성 품질을 어느 정도 향상시키는가?

주요 결과

• 주관적 XAB 테스트를 통해 유의미한 개선(유의수준 p < 0.05)을 보이며, 제안된 방법이 기존 음성 변환 대비 발화자 유사성에서 뛰어난 성능을 보였다.
• 인식 및 합성 모듈의 공동 훈련이 별도 훈련된 모듈 대비 자동에코딩에서 멜-세프트랄 왜곡을 1.2 dB 감소시켰다.
• 별도 훈련된 인식 및 합성 모듈을 사용할 때도 제안된 방법이 기존 VC보다 멜-세프트랄 왜곡을 0.8 dB 낮추었다.
• 주관적 평가 결과, 제안된 방법은 발화자 유사성을 향상시켰지만, 음소적 특성 전달 오류로 인해 약간의 음성 품질 저하가 발생했다.
• 모든 세 모듈(인식, 변환, 합성)의 공동 훈련은 더 부드러운 확률 출력을 유도하며, 이는 별도 훈련된 모듈 대비 성능이 다소 열등해지는 데 기여할 수 있다.
• 순서-순서 접근법이 동적 시간 왜곡에 의한 스펙트럼 왜곡을 효과적으로 완화함을 입증하였으며, 시각화 결과(그림 8)에서 더 명확한 후행 확률 시퀀스를 확인할 수 있었다.