[논문 리뷰] DNN-based Speaker Embedding Using Subjective Inter-speaker Similarity for Multi-speaker Modeling in Speech Synthesis

Yuki Saito, Shinnosuke Takamichi외 1명|arXiv (Cornell University)|2019. 07. 19.

Speech Recognition and Synthesis참고 문헌 29인용 수 5

한 줄 요약

이 논문은 다층 신경망 기반의 화자 임베딩 방법을 제안하며, 인간의 주관적 화자 간 유사도를 통합하여 다화자 음성 합성 성능을 향상시킨다. 대규모 커뮤니티 기반 유사도 행렬을 기반으로 훈련함으로써 제안된 유사도 벡터 임베딩 및 유사도 행렬 임베딩 방법은 인간의 인지와 강하게 상관되는 화자 표현을 학습하며, 기존의 d-벡터에 비해 열린 화자(즉, 훈련 데이터에 포함되지 않은 화자)에 대해 합성 음성 품질을 크게 향상시킨다.

ABSTRACT

This paper proposes novel algorithms for speaker embedding using subjective inter-speaker similarity based on deep neural networks (DNNs). Although conventional DNN-based speaker embedding such as a $d$-vector can be applied to multi-speaker modeling in speech synthesis, it does not correlate with the subjective inter-speaker similarity and is not necessarily appropriate speaker representation for open speakers whose speech utterances are not included in the training data. We propose two training algorithms for DNN-based speaker embedding model using an inter-speaker similarity matrix obtained by large-scale subjective scoring. One is based on similarity vector embedding and trains the model to predict a vector of the similarity matrix as speaker representation. The other is based on similarity matrix embedding and trains the model to minimize the squared Frobenius norm between the similarity matrix and the Gram matrix of $d$-vectors, i.e., the inter-speaker similarity derived from the $d$-vectors. We crowdsourced the inter-speaker similarity scores of 153 Japanese female speakers, and the experimental results demonstrate that our algorithms learn speaker embedding that is highly correlated with the subjective similarity. We also apply the proposed speaker embedding to multi-speaker modeling in DNN-based speech synthesis and reveal that the proposed similarity vector embedding improves synthetic speech quality for open speakers whose speech utterances are unseen during the training.

연구 동기 및 목표

• 기존 d-벡터가 인간이 인지하는 유사한 화자 간 관계를 모델링하는 데에 한계가 있음을 해결하기 위해, 화자 간 주관적 유사도를 화자 임베딩 훈련 과정에 통합한다.
• 훈련 데이터에 포함되지 않은 화자(열린 화자)에 대해서도 효과적인 다화자 음성 합성을 가능하게 하기 위해, 해석 가능하고 인간 인지와 일치하는 화자 표현을 학습한다.
• 화자 임베딩을 인간이 인지하는 유사도와 일치시킴으로써, 합성 음성의 자연스러움과 화자 유사도를 향상시킨다.

제안 방법

• 153명의 일본어 여성 화자로부터 주관적 화자 간 유사도 점수를 커뮤니티 기반으로 수집하여 대규모 주관적 유사도 행렬을 구축한다.
• 두 가지 훈련 방법을 제안한다: 유사도 벡터 임베딩은 DNN이 각 화자에 대해 유사도 벡터를 예측하도록 훈련하는 방식이며, 유사도 행렬 임베딩은 진정 유사도 행렬과 d-벡터의 그람 행렬 간의 프로베니우스 노름을 최소화하는 방식이다.
• 주관적 유사도 행렬을 감독 신호로 포함한 수정된 손실 함수를 사용하여 DNN 기반 화자 임베딩 모델을 훈련한다.
• 학습된 화자 임베딩을 VAE 기반의 다화자 음성 합성 시스템에 적용하여, 닫힌 화자와 열린 화자 모두에서 성능을 평가한다.
• AB 및 XAB 선호도 테스트를 통해 합성 음성의 자연스러움과 화자 유사도를 측정하며, 통계적 유의성 검정을 실시한다.

실험 결과

연구 질문

• RQ1 기존 d-벡터에 비해 DNN 기반 화자 임베딩이 인간이 인지하는 화자 간 유사도를 더 잘 반영하도록 훈련시킬 수 있는가?
• RQ2 훈련 과정에 주관적 유사도 점수를 통합하면, 훈련 데이터에 포함되지 않은 화자에 대해 합성 음성 품질이 향상되는가?
• RQ3 제안된 두 가지 훈련 방법 중에서, 유사도 벡터 임베딩과 유사도 행렬 임베딩 중 어느 것이 음성 합성에서 더 높은 성능을 낼 수 있는가?
• RQ4 대상 화자당 유사한 화자 수가 많아질수록 유사도 행렬 임베딩 방법의 성능에 어떤 영향을 미치는가?
• RQ5 인지적으로 일치하는 화자 임베딩은 다화자 음성 합성에서 자연스러움과 화자 유사도를 모두 향상시킬 수 있는가?

주요 결과

• 제안된 유사도 벡터 임베딩 방법은 합성 음성의 자연스러움과 화자 유사도를 모두 유의미하게 향상시켰으며, 모든 열린 화자에 대해 화자 유사도 선호도 점수가 0.517을 기록하여 d-벡터의 0.483보다 높았다.
• 유사도 행렬 임베딩 방법은 유사한 대응 화자가 적은 화자(예: F005 및 F012)의 경우 화자 유사도가 떨어지는 경향을 보이며, 희박한 유사도 구조에 민감함을 보였다.
• 제안된 방법은 기존 d-벡터에 비해 학습된 화자 임베딩와 주관적 화자 간 유사도 간 상관관계가 더 높았다.
• 유사도 벡터 임베딩 방법은 모든 열린 화자에 걸쳐 일관된 향상을 보이며, 새로운 화자에 대한 일반화 능력이 뛰어나다는 것을 확인했다.
• 선호도 테스트 결과, 제안된 임베딩 방법이 d-벡터에 비해 청취자 인지 품질에서 뛰어난 성능을 보였으며, 특히 열린 화자 음성 합성에서 두드러진 개선 효과를 보였다.