[논문 리뷰] Automatic Prosody Prediction for Chinese Speech Synthesis using BLSTM-RNN and Embedding Features

Chuang Ding, Lei Xie외 3명|arXiv (Cornell University)|2015. 11. 02.

Natural Language Processing Techniques참고 문헌 15인용 수 5

한 줄 요약

이 논문은 특징 공학을 제거하고 문자에서 직접 중국어 운율 경계(PW, PPH, IPH)를 예측하기 위해 스택형 피드포워드 및 양방향 LSTM(BLSTM) 계층을 사용하는 신경망 접근법을 제안한다. CRF 기반 방법보다 뛰어난 성능을 달성하며, 대규모 원시 텍스트에서 학습된 문자 임베딩 특징을 사용할 경우 성능 향상이 더욱 두드러지며, 주관적 테스트에서 음성 합성의 자연스러움이 크게 향상된다.

ABSTRACT

Prosody affects the naturalness and intelligibility of speech. However, automatic prosody prediction from text for Chinese speech synthesis is still a great challenge and the traditional conditional random fields (CRF) based method always heavily relies on feature engineering. In this paper, we propose to use neural networks to predict prosodic boundary labels directly from Chinese characters without any feature engineering. Experimental results show that stacking feed-forward and bidirectional long short-term memory (BLSTM) recurrent network layers achieves superior performance over the CRF-based method. The embedding features learned from raw text further enhance the performance.

연구 동기 및 목표

• 수동적 특징 공학에 의존하지 않고 중국어 텍스트에서 음성 합성 시 자동 운율 예측 문제를 해결하기 위해.
• 정확한 어절 분할 및 품사 태깅에 의존하는 CRF 기반 모델의 문제점을 해결하기 위해, 오류 전파의 영향을 최소화하기 위해.
• 특히 BLSTM-RNN을 포함한 깊이 신경망이 순차적 운율 구조를 모델링하는 데 얼마나 효과적인지 탐구하기 위해.
• 원시 텍스트에서 학습된 문자 수준의 임베딩 특징이 운율 예측 성능 향상에 기여하는지 조사하기 위해.
• 주관적 听음 테스트를 통해 제안된 방법이 음성 합성의 자연스러움에 미치는 영향을 평가하기 위해.

제안 방법

• 원시 중국어 문자를 입력으로 받아, 원-핫 표현 대신 분산 임베딩 벡터로 매핑하는 신경망 아키텍처를 사용한다.
• 문자 시퀀스로부터 계층적 맥락 표현을 학습하기 위해 피드포워드 신경망(FFNN)과 양방향 장기 단기 기억(LSTM) 계층을 스택 형식으로 적용한다.
• 운율 경계 예측을 위한 시퀀스 태깅을 수행하기 위해 비터비 알고리즘을 적용하며, 각 문자에 대해 레이블(B, NB, O)을 할당한다.
• 비지도 사전 훈련 목적을 통해 대규모 원시 텍스트 코퍼스에서 문자 임베딩 특징을 학습하고, 이를 주 모델에서 미세조정한다.
• 검증 세트 성능 기반 조기 정지 기법을 사용한 확률적 경사 하강법과 관성 항목을 사용해 네트워크를 훈련한다.
• 예측된 운율 레이블을 HMM 기반 TTS 시스템의 입력으로 사용하고, A/B 선호도 테스트를 실시하여 자연스러움을 평가한다.

실험 결과

연구 질문

• RQ1 수동적 특징 공학 없이도 깊이 신경망 아키텍처가 문자로부터 직접 중국어 운율 경계를 예측할 수 있는가?
• RQ2 피드포워드와 BLSTM 계층을 스택형으로 조합하면 CRF 기반 모델 대비 운율 예측 성능을 향상시킬 수 있는가?
• RQ3 원시 텍스트에서 학습된 문자 임베딩 특징이 운율 예측 정확도 향상에 어느 정도 기여하는가?
• RQ4 신경망 기반 운율 예측이 CRF 기반 방법에 비해 음성 합성의 자연스러움에 어떤 영향을 미치는가?
• RQ5 중국어 TTS의 운율 경계 예측에 가장 적합한 네트워크 토폴로지와 임베딩 크기는 무엇인가?

주요 결과

• 제안된 BLSTM-RNN 모델(FBB 토폴로지)은 운율 단어(PW) 예측에서 96.35%의 F1 스코어를 기록하여 CRF 기반 베이스라인(96.03%)을 초월했다.
• 운율 구문(PPH) 예측에서는 84.57%의 F1 스코어를 기록하여 CRF 기반 베이스라인(83.06%)보다 유의미한 향상이 있었다.
• 강세 구문(IPH) 예측에서는 FBB 토폴로지로 81.63%의 F1 스코어를 기록하여 CRF 기반 베이스라인(78.71%)을 뛰어넘었다.
• 문자 임베딩 특징을 사용할 경우 성능 향상이 더욱 두드러졌으며, 최적의 임베딩 크기를 사용해 PW에서 96.59%, PPH에서 84.96%, IPH에서 82.27%의 F1 스코어를 기록했다.
• 주관적 A/B 테스트 결과, 임베딩을 사용한 신경망 기반 음성 합성은 CRF 기반 합성 대비 65%의 비율로 선호되었고, 원-핫 표현 대비 70%의 비율로 선호되었으며, 자연스러움 향상이 확인되었다.
• 가장 뛰어난 성능을 보인 모델 아키텍처는 운율 수준에 관계없이 항상 FBB(피드포워드, 양방향 LSTM, 양방향 LSTM)였다.