[논문 리뷰] Investigating gated recurrent neural networks for speech synthesis

Zhizheng Wu, Simon King|arXiv (Cornell University)|2016. 01. 11.

Speech Recognition and Synthesis참고 문헌 21인용 수 19

한 줄 요약

이 논문은 음성 합성에서 장단기 기억(LSTM) 네트워크의 개별 구성 요소가 수행하는 역할을 조사하며, 잊기 게이트만 유지하는 간소화된 아키텍처를 제안한다. 시각적 및 실험적 분석을 통해 잊기 게이트가 음성의 시간적 구조를 모델링하는 데 필수적임을 입증하고, 입력 게이트 및 출력 게이트와 같은 다른 구성 요소들은 품질 저하 없이 제거할 수 있음을 보여주며, 파rameter 수를 약 50% 감소시키고 생성 시간을 28% 감소시킨다.

ABSTRACT

Recently, recurrent neural networks (RNNs) as powerful sequence models have re-emerged as a potential acoustic model for statistical parametric speech synthesis (SPSS). The long short-term memory (LSTM) architecture is particularly attractive because it addresses the vanishing gradient problem in standard RNNs, making them easier to train. Although recent studies have demonstrated that LSTMs can achieve significantly better performance on SPSS than deep feed-forward neural networks, little is known about why. Here we attempt to answer two questions: a) why do LSTMs work well as a sequence model for SPSS; b) which component (e.g., input gate, output gate, forget gate) is most important. We present a visual analysis alongside a series of experiments, resulting in a proposal for a simplified architecture. The simplified architecture has significantly fewer parameters than an LSTM, thus reducing generation complexity considerably without degrading quality.

연구 동기 및 목표

• 음성 합성에서 LSTMs가 잘 작동하는 이유를 내부 구성 요소 분석을 통해 이해하기 위해.
• 음성 궤적을 모델링하는 데 핵심적인 역할을 하는 LSTMs 구성 요소(예: 잊기 게이트, 입력 게이트 등)를 특정하기 위해.
• 복잡도를 줄인 고품질 음성 합성 성능을 유지하는 간소화된 순환 아키텍처를 개발하기 위해.
• 구성 요소 제거가 목적적 지표와 주관적 자연스러움에 미치는 영향을 평가하기 위해.

제안 방법

• 음성 구조 및 발음 경계와 관련된 잊기 게이트 활성화를 시각적으로 분석하여 상관관계를 파악하기 위해.
• LSTM 셀 상태와 예측된 음향 특징 궤적(예: MFCC) 간의 상관관계 분석을 수행하기 위해.
• LSTM 변형 모델의 실험적 평가: NIG(입력 게이트 없음), NOG(출력 게이트 없음), NFG(잊기 게이트 없음), NPH(피플홀 없음), S-LSTM(잊기 게이트만 있음).
• 문맥 창 입력과 표준 손실 함수를 사용한 시퀀스-투-시퀀스 프레임워크를 활용한 학습 및 평가.
• 목적적 지표(MCD, F0 RMSE, BAP, V/UV)와 30명의 모국어 사용자 대상 주관적 선호도 테스트를 통한 모델 비교.
• 입력/출력 게이트 및 피플홀 연결이 없는 잊기 게이트만을 유지하는 간소화된 LSTM(S-LSTM)의 구현.

실험 결과

연구 질문

• RQ1 LSTM의 잊기 게이트는 음성 매개변수 시퀀스의 시간적 구조를 어떻게 모델링하는가?
• RQ2 음성 합성 중 음향 특징 궤적을 추적하는 데 셀 상태는 어떤 역할을 하는가?
• RQ3 고품질 음성 합성에 있어 LSTM 아키텍처의 어떤 구성 요소가 필수적인가?
• RQ4 잊기 게이트만을 유지하는 간소화된 LSTM 아키텍처가 전체 LSTM과 유사한 성능을 달성할 수 있는가?
• RQ5 LSTM 구성 요소를 제거할 경우 모델 복잡도와 합성 품질 간의 상충 관계는 어떻게 되는가?

주요 결과

• 잊기 게이트 활성화는 발음 경계와 강하게 상관관계가 있으며, 이는 음성 구조 모델링에 기여한다는 것을 시사한다.
• LSTM 셀 상태는 목표 음향 궤적과 높은 상관관계(0.9)를 유지하며, 이는 예측 시퀀스의 형태를 추적하고 있음을 의미한다.
• 잊기 게이트가 없는 NFG 모델은 성능 저하가 심각하게 나타났다(MCD: 4.68 dB), 이는 잊기 게이트가 필수적임을 확인한다.
• S-LSTM는 파rameter 수를 788,224에서 393,728로 줄였고, 생성 시간도 214초에서 154초로 28% 감소시켰다.
• 주관적 테스트 결과, LSTM과 S-LSTM 간에 유의미한 선호도 차이가 없었으며, S-LSTM는 LSTM과 비교했을 때 74.3%의 선호도를 기록했다.
• GRU와 S-LSTM 아키텍처는 더 적은 파rameter로 전체 LSTM과 유사한 성능을 달성했으며, 이는 고도로 복잡한 게이팅 메커니즘이 고품질 합성에 필수적인 것은 아님을 시사한다.