[논문 리뷰] Sampling-based speech parameter generation using moment-matching networks

Shinnosuke Takamichi, Tomoki Koriyama외 1명|arXiv (Cornell University)|2017. 04. 12.

Speech Recognition and Synthesis참고 문헌 23인용 수 11

한 줄 요약

이 논문은 DNN 기반 음성 합성에서 자연스러운 문장 간 변동성을 도입하기 위해 순간 일치 네트워크를 사용하는 샘플링 기반 음성 파라미터 생성 방법을 제안한다. 최대 평균 차이(MMD)를 사용하여 자연 음성 파라미터의 통계적 순간을 일치시켜 깊은 신경망을 훈련시킴으로써, 저차원의 노이즈 벡터를 통해 다양한 음성 출력을 생성하며, 최대우도 방법과 비교해도 품질이 떨어지지 않는 고품질 합성을 달성한다.

ABSTRACT

This paper presents sampling-based speech parameter generation using moment-matching networks for Deep Neural Network (DNN)-based speech synthesis. Although people never produce exactly the same speech even if we try to express the same linguistic and para-linguistic information, typical statistical speech synthesis produces completely the same speech, i.e., there is no inter-utterance variation in synthetic speech. To give synthetic speech natural inter-utterance variation, this paper builds DNN acoustic models that make it possible to randomly sample speech parameters. The DNNs are trained so that they make the moments of generated speech parameters close to those of natural speech parameters. Since the variation of speech parameters is compressed into a low-dimensional simple prior noise vector, our algorithm has lower computation cost than direct sampling of speech parameters. As the first step towards generating synthetic speech that has natural inter-utterance variation, this paper investigates whether or not the proposed sampling-based generation deteriorates synthetic speech quality. In evaluation, we compare speech quality of conventional maximum likelihood-based generation and proposed sampling-based generation. The result demonstrates the proposed generation causes no degradation in speech quality.

연구 동기 및 목표

• 기존 DNN 기반 음성 합성에서 같은 입력 맥락에 대해 동일한 출력을 생성하는 문제인 문장 간 변동성 부족을 해결하기 위해.
• 자연스러운 인간의 변동성을 반영하는 다양한 음성 파라미터를 효율적으로 생성할 수 있는 계산 비용이 낮은 방법을 개발하기 위해.
• 순수 최대우도 기반 합성과 비교해 볼 때, 순간 일치 네트워크를 사용한 샘플링 기반 생성이 음성 품질을 떨어뜨리는지 평가하기 위해.
• 음성 파라미터의 복잡한 비모수적 분포를 모델링하여 종단간 음성 합성에 현실적인 변동성을 도입하기 위해.

제안 방법

• 조건부 최대 평균 차이(MMD)를 통해 훈련된 순간 일치 네트워크를 사용하여 생성된 음성 파라미터의 순간과 자연 음성 파라미터의 순간을 일치시킨다.
• 변동성을 음성 파라미터 생성 과정에 통합하기 위해 저차원의 등방성 가우시안 노이즈 벡터를 사전으로 사용한다.
• DNN는 노이즈 벡터를 음성 파라미터로 매핑하며, 생성된 파라미터의 통계적 분포가 자연 음성의 분포와 일치하도록 하되, 특정한 비모수적 형태를 가정하지 않는다.
• 자연 음성과 생성된 음성 파라미터의 경험적 분포 간 MMD를 최소화하는 것이 훈련 목표이며, 가우시안 커널 함수를 사용한다.
• 동일한 입력 맥락에 대해 서로 다른 노이즈 벡터를 사용하여 DNN 출력에서 샘플링함으로써 다양한 출력을 생성한다.
• 모델은 WORLD로 추출한 특징(멜-세프스트럼 계수, F0, 밴드 아페리오디티), 입력 특징로 언어적 정보와 스피커 코드, 브금턴 표현을 포함하여 훈련된다.

실험 결과

연구 질문

• RQ1 순간 일치 네트워크를 사용한 샘플링 기반 음성 파라미터 생성이 문장 간 변동성을 도입하면서도 음성 품질을 유지할 수 있는가?
• RQ2 변동성을 도입했을 때, 제안된 방법이 기존 최대우도 기반 합성보다 음성 품질에서 뛰어난가?
• RQ3 고차원 음성 파라미터 분포에서 직접 샘플링하는 것과 비교해 복잡도가 낮은가?
• RQ4 명시적인 밀도 추정 없이도 순간 일치 네트워크가 음성 파라미터의 복잡한 비정규 분포를 효과적으로 모델링할 수 있는가?

주요 결과

• 선호도 AB 테스트 결과, 최대우도 기반 합성과 비교해 샘플링 기반 생성에서 음성 품질에 유의미한 떨어름이 없었다.
• 제안된 방법은 파라미터 생성에 등방성 가우시안 분포를 가정하는 기존 DNN 기반 합성보다 더 뛰어난 음성 품질을 달성했다.
• 저차원 노이즈 벡터를 사용해 음성 파라미터 변동성을 표현함으로써, 계산 비용을 증가시키지 않으면서도 효율적이고 확장 가능한 샘플링이 가능했다.
• 순간 일치 훈련 기준은 음성 파라미터의 복잡한 통계적 의존성을 효과적으로 포착하여, 전체 공분산 또는 혼합 분포를 명시적으로 모델링하지 않아도 현실적인 변동성을 구현할 수 있었다.