[논문 리뷰] Hierarchical Representation of Prosody for Statistical Speech Synthesis

Antti Suni, Daniel Aalto외 1명|arXiv (Cornell University)|2015. 10. 07.

Speech Recognition and Synthesis참고 문헌 41인용 수 3

한 줄 요약

이 논문은 연속 웨이블릿 변환(CWT)을 사용하여 통계적 음성 합성에 대한 비지도, 계층적인 음성 강조 표현을 제안한다. 이 방법은 주파수, 에너지, 지속시간을 스케일-스페이스 프레임워크에서 분석함으로써 음성 강조점과 경계를 동시에 탐지한다. 보스턴 대학교 라디오 뉴스 코퍼스에서 기존의 지도 학습 기반 최신 기법들과 유사한 성능을 달성하며, 음성, 어휘, 문법적 특징을 사용하는 지도 학습 시스템과 3-4% 이내의 정확도를 확보한다.

ABSTRACT

Prominences and boundaries are the essential constituents of prosodic structure in speech. They provide for means to chunk the speech stream into linguistically relevant units by providing them with relative saliences and demarcating them within coherent utterance structures. Prominences and boundaries have both been widely used in both basic research on prosody as well as in text-to-speech synthesis. However, there are no representation schemes that would provide for both estimating and modelling them in a unified fashion. Here we present an unsupervised unified account for estimating and representing prosodic prominences and boundaries using a scale-space analysis based on continuous wavelet transform. The methods are evaluated and compared to earlier work using the Boston University Radio News corpus. The results show that the proposed method is comparable with the best published supervised annotation methods.

연구 동기 및 목표

• 음성 합성에서 음성 강조점과 경계를 통합하고 비지도로 모델링할 수 있는 프레임워크를 개발하는 것.
• 기존의 표현 방식이 강조점과 경계 탐지를 별도로 다루거나 인간이 애너테이션한 학습 데이터가 필요로 하는 한계를 극복하는 것.
• 연속 웨이블릿 변환(CWT)을 통한 시간-주파수 스케일-스페이스 분석을 활용해 계층적인 음성 구조 탐지를 위한 방법을 제안하는 것.
• 목표 지표를 사용하여 보스턴 대학교 라디오 뉴스 코퍼스에서 방법의 성능을 평가하는 것.
• 단일 통합 신호 표현이 인간의 청각적 및 음소학적 관련 음성 특징을 비지도로 모델링할 수 있음을 입증하는 것.

제안 방법

• 일차원 음성 신호(f0, 에너지 에너지, 지속시간)에 연속 웨이블릿 변환(CWT)을 적용하여 청각적 계층성과 유사한 시간-스케일 표현을 생성한다.
• 스케일-스페이스 분석을 통해 CWT 스칼로그램의 국소 최대값을 탐지함으로써 음절, 음성어, 강조점/경계 마커와 같은 음성 이벤트를 식별한다.
• 에너지 신호의 무음 또는 비음성 구간을 보완하기 위한 갭-채우기 알고리즘을 도입하여 경계 탐지의 정확도를 향상시킨다.
• f0, 에너지, 지속시간을 CWT 분석 이전에 하나의 입력 신호로 통합함으로써 탐지 정확도를 향상시킨다.
• 음운론적 및 음소학적 음성 구조와 일치하는 계층적, 다중 스케일 표현을 활용하여 강조점과 경계 이벤트를 통합적으로 모델링한다.
• 최종 애너테이션은 다양한 스케일에서 CWT 응답의 국소 최대값에서 유도되며, 겹치거나 모호한 이벤트를 해결하기 위한 후처리를 거친다.

실험 결과

연구 질문

• RQ1 단일 신호 처리 프레임워크를 사용하여 통합적이고 비지도로 음성 강조점과 경계를 동시에 탐지할 수 있는가?
• RQ2 제안된 CWT 기반 방법의 성능은 음성 강조점 및 경계 탐지에서 지도 학습 기반 최신 기법과 비교해 어떻게 되는가?
• RQ3 f0, 에너지, 지속시간 등의 통합된 음성 특징은 개별 특징 대비 탐지 정확도를 얼마나 향상시키는가?
• RQ4 CWT를 통한 계층적 스케일-스페이스 분석은 전통적인 스펙트로그램 기반 또는 MFCC 기반 표현보다 더 나은 음성 구조를 포착하는가?
• RQ5 인간이 애너테이션한 학습 데이터에 의존하지 않고도 인간 수준의 음성 구조 탐지가 가능한가?

주요 결과

• 제안된 CWT 기반 방법은 강조점 탐지 정확도가 최고의 지도 학습 기법과 3% 이내이며, 경계 탐지 정확도는 4% 이내로 유사한 성능을 달성한다. 이는 음성, 어휘, 문법적 특징을 사용하는 지도 학습 시스템과 비교한 결과이다.
• f0와 지속시간을 조합하면 강조점 탐지에 3% 향상되고 경계 탐지에 4% 향상되며, 이는 지속시간이 강력한 분류 능력을 지닌다는 것을 시사한다.
• 에너지 신호의 갭-채우기 기법은 경계 탐지 성능을 향상시키지만 강조점 탐지에 거의 영향을 주지 않으며, 이는 음절 특징의 과도한 스무딩 때문일 가능성이 높다.
• 비지도 최신 기법들보다 뚜렷한 성능 향상을 보이며, 계층적 스케일-스페이스 모델링의 효과성을 입증한다.
• CWT 프레임워크 내에서 f0, 에너지, 지속시간을 통합적으로 모델링함으로써 청각적 및 음소학적 음성 특징을 모두 포괄하는 통합 표현이 가능하다.
• 결과는 음성 강조점과 경계가 하나의 기초적인 생산 과정의 표현임을 시사하며, 통합 이론적 프레임워크의 타당성을 뒷받침한다.