[논문 리뷰] CoPaSul Manual -- Contour-based parametric and superpositional intonation stylization

Uwe D. Reichel|arXiv (Cornell University)|2016. 12. 14.

Phonetics and Phonology Research인용 수 7

한 줄 요약

CoPaSul은 음성에서 자동 음성 주격 주석 및 음성 특징 추출을 위한 윤곽 기반, 매개변수화, 초합성 툴킷이다. F0 윤곽을 전역(레지스터 수준) 및 국소(강조군 수준) 다항형 윤곽의 초합성으로 모델링하여 매개변수화된 스타일화, 윤곽 유형의 군집화, 음고, 에너지, 리듬, 음성 품질 등의 음성 특징 추출을 가능하게 한다.

ABSTRACT

The purposes of the CoPaSul toolkit are (1) automatic prosodic annotation and (2) prosodic feature extraction from syllable to utterance level. CoPaSul stands for contour-based, parametric, superpositional intonation stylization. In this framework intonation is represented as a superposition of global and local contours that are described parametrically in terms of polynomial coefficients. On the global level (usually associated but not necessarily restricted to intonation phrases) the stylization serves to represent register in terms of time-varying F0 level and range. On the local level (e.g. accent groups), local contour shapes are described. From this parameterization several features related to prosodic boundaries and prominence can be derived. Furthermore, by coefficient clustering prosodic contour classes can be obtained in a bottom-up way. Next to the stylization-based feature extraction also standard F0 and energy measures (e.g. mean and variance) as well as rhythmic aspects can be calculated. At the current state automatic annotation comprises: segmentation into interpausal chunks, syllable nucleus extraction, and unsupervised localization of prosodic phrase boundaries and prominent syllables. F0 and partly also energy feature sets can be derived for: standard measurements (as median and IQR), register in terms of F0 level and range, prosodic boundaries, local contour shapes, bottom-up derived contour classes, Gestalt of accent groups in terms of their deviation from higher level prosodic units, as well as for rhythmic aspects quantifying the relation between F0 and energy contours and prosodic event rates.

연구 동기 및 목표

• 음절에서 문장 수준까지의 체계적이고 자동화된 음성 주격 주석 방법 개발
• 향상된 스타일화 및 특징 추출을 위한 매개변수화된 전역 및 국소 F0 윤곽의 초합성으로 음성 주격 모델링
• 다항형 계수 군집화를 통한 하향식 음성 윤곽 유형의 자동 탐색
• F0 및 에너지 윤곽에서 표준화된 리듬적이고 게슈탈트 기반의 음성 특징 추출
• 모듈화되고 구성 가능한 파이썬 및 프라트 스크립트를 통한 음성 처리 파이프라인 통합 지원

제안 방법

• F0 윤곽을 시간에 따라 변하는 수준과 범위를 갖는 전역(시간에 따라 변화하는 수준 및 범위) 및 국소(강조군) 다항형 윤곽의 초합성으로 표현
• 구성 가능한 분석 윈도우를 사용한 F0 사전 처리, 잔차 추출 및 정규화 적용
• 다항형 계수에 대한 비지도 군집화(k-means, 부트스트랩 시드 사용)를 통해 윤곽 유형 유도
• 표준 특징(평균, IQR), 리듬 특징(F0-에너지 상관관계, 이벤트 빈도), 게슈탈트 특징(전역 추세에서의 이탈) 추출
• 백분위수 분할 또는 k-means를 통한 자동 분할, 음절 핵 탐지, 음성 경계 국소화 지원
• Pandas DataFrames, 중첩된 사전, F0 테이블, 시각화 플롯 등 구성 가능한 출력 형식 제공로 검증 및 분석 지원

실험 결과

연구 질문

• RQ1 향상된 음성 특징 추출을 위해 매개변수화된 전역 및 국소 F0 윤곽의 초합성으로 음성 주격을 어떻게 모델링할 수 있는가?
• RQ2 다항형 계수에 대한 비지도 군집화가 자연스러운 음성 윤곽 유형을 탐색하는 데 얼마나 효과적인가?
• RQ3 F0 특징에 대한 백분위수 분할 및 k-means 부트스트랩을 통해 음성 경계와 음고 강조를 얼마나 정확하게 국소화할 수 있는가?
• RQ4 F0 및 에너지 윤곽에서 유도된 리듬적이고 게슈탈트 기반 특징이 음성 주격의 돌출성과 구조를 얼마나 잘 반영하는가?
• RQ5 다양한 음성 처리 응용 분야에서 종단간 음성 분석을 지원하기 위해 모듈화되고 구성 가능한 툴킷을 어떻게 설계할 수 있는가?

주요 결과

• CoPaSul은 표준 측정치, 레지스터 표현, F0 및 에너지 윤곽의 리듬적 요소를 포함한 포괄적인 음성 특징을 성공적으로 추출한다.
• 툴킷은 음성 경계 분할, 음절 핵 탐지, 비지도 음성 경계 국소화를 포함한 정확한 자동 음성 주격 주석을 달성한다.
• 다항형 계수 기반 윤곽 군집화를 통해 하향식 방식으로 구분되는 데이터 기반 음성 윤곽 유형을 탐색할 수 있다.
• 로컬 세그먼트 전체에 걸쳐 원본 F0 윤곽과 스타일화된 F0 윤곽 간 평균 제곱 오차(RMSD)는 검증 지표로 보고되었으며, 높은 스타일화 정밀도를 나타낸다.
• Pandas DataFrames, 중첩된 사전, F0 테이블 등 다양한 출력 형식을 지원하여 후속 NLP 및 TTS 파이프라인에의 통합을 가능하게 한다.
• 플롯 기능을 통해 스타일화 결과의 시각적 검증이 가능하며, 메타데이터 요소 기반으로 세그먼트 브라우징 및 그룹화 옵션 제공