[논문 리뷰] Generating Segment Durations in a Text-To-Speech System: A Hybrid Rule-Based/Neural Network Approach

Gerald Corrigan, Noel Massey외 1명|ArXiv.org|1998. 11. 24.

Speech and dialogue systems참고 문헌 3인용 수 9

한 줄 요약

이 논문은 텍스트-음성 합성(TTS) 시스템에서 세그먼트 지속시간을 생성하기 위해 규칙 기반 시스템과 신경망을 융합한 하이브리드 접근법을 제시한다. 규칙에 의해 유도된 특징을 신경망에 통합함으로써 지속시간 예측 정확도가 향상되어 청취자들이 자연어 음성과 유사한 품질로 평가하는 합성 음성을 얻을 수 있다.

ABSTRACT

A combination of a neural network with rule firing information from a rule-based system is used to generate segment durations for a text-to-speech system. The system shows a slight improvement in performance over a neural network system without the rule firing information. Synthesized speech using segment durations was accepted by listeners as having about the same quality as speech generated using segment durations extracted from natural speech.

연구 동기 및 목표

• 텍스트-음성 합성 시스템에서 자연스러운 들림 지속시간을 생성하는 데 도전 과제를 해결한다.
• 순수 신경망 모델을 초월해 지속시간 예측 정확도를 향상시킨다.
• 상징적 언어 규칙을 데이터 기반 신경망과 융합하여 억양 출력을 향상시킨다.
• 제안된 지속시간 생성 방법을 사용해 합성 음성의 청취 품질을 평가한다.
• 하이브리드 시스템이 지속시간 모델링에서 자연어 음성에 가까운 성능을 달성할 수 있음을 보여준다.

제안 방법

• 지속시간에 영향을 주는 언어적 특징(예: 품사, syllable 위치, 강세)을 추출하기 위해 규칙 기반 시스템을 활용한다.
• 규칙 기반 시스템의 출력을 피드포워드 신경망의 추가 입력 특징으로 사용한다.
• 자연어 음성에서의 텍스트와 해당 세그먼트 지속시간 데이터셋을 기반으로 신경망을 훈련한다.
• 규칙 기반 시스템의 발동 신호와 신경망 예측 결과를 조합하여 최종 지속시간 추정치를 생성한다.
• 훈련된 하이브리드 모델을 사용해 TTS 파이프라인에서 미리 보지 않은 텍스트 입력의 지속시간을 예측한다.
• 예측된 지속시간을 연결 기반 또는 파rametric TTS 시스템에 적용하여 음성을 합성한다.

실험 결과

연구 질문

• RQ1 규칙 기반 언어적 특징을 통합하면 신경망의 세그먼트 지속시간 예측 성능이 향상되는가?
• RQ2 단독 신경망과 비교해 하이브리드 규칙 기반/신경망 시스템은 지속시간 추정에서 어떻게 다른가?
• RQ3 하이브리드로 생성된 지속시간을 사용한 합성 음성은 인간 녹음 음성의 자연스러움과 어느 정도 유사한가?
• RQ4 규칙 기반 시스템에서 가장 중요한 지속시간 예측 기여를 하는 특정 언어적 특징은 무엇인가?
• RQ5 기호 규칙의 추가로 신경 지속시간 모델링에 필요한 대규모 훈련 데이터셋의 필요성이 감소하는가?

주요 결과

• 하이브리드 시스템은 순수 신경망보다 약간이지만 측정 가능한 지속시간 예측 정확도 향상을 달성했다.
• 청취자들은 하이브리드 시스템에서 생성된 지속시간을 사용해 합성한 음성을 자연어 음성에서 추출한 지속시간을 사용한 음성과 동등한 품질로 평가했다.
• 규칙에 의해 유도된 특징의 통합은 신경망이 음성의 억양 변동을 더 잘 모델링할 수 있도록 향상시켰다.
• 규칙 기반 구성 요소는 해석 가능성을 제공했으며 순수 신경 모델이 놓칠 수 있는 발음 및 문법적 맥락을 포착했다.
• 상징 지식과 신경 학습을 융합함으로써 성능과 청취 품질이 모두 향상됨을 시스템이 입증했다.
• 결과적으로 하이브리드 아키텍처는 TTS 시스템에서 데이터 기반 학습과 언어학적 사전 지식 간의 효과적인 균형을 이룰 수 있음을 시사한다.