[논문 리뷰] Quantifying and Correlating Rhythm Formants in Speech

Dafydd Gibbon, Peng Li|arXiv (Cornell University)|2019. 09. 03.

Phonetics and Phonology Research참고 문헌 23인용 수 5

한 줄 요약

이 논문은 말의 장기 스펙트럼에서 특징적인 저주파수 스펙트럼 피크인 리듬 포르몬트(R-formants)를 도입하여 말 리듬을 정량화하는 데 새로운 프레임워크를 제시한다. 진폭 변조 및 환경 변조 신호를 사용하여 저자들은 R-formants가 말 리듬과 구조와 강하게 관련되어 있음을 입증하며, 자연스러운 말에서 억양과 언어적 기능을 분석하는 데 새로운 도구를 제공한다.

ABSTRACT

The objective of the present study is exploratory: to introduce and apply a new theory of speech rhythm zones or rhythm formants (R-formants). R-formants are zones of high magnitude frequencies in the low frequency (LF) long-term spectrum (LTS), rather like formants in the short-term spectra of vowels and consonants. After an illustration of the method, an R-formant analysis is made of non-elicited extracts from public speeches. The LF-LTS of three domains, the amplitude modulated (AM) absolute (rectified) signal, the amplitude envelope modulation (AEM) and frequency modulation (FM, F0, 'pitch') of the signal are compared. The first two correlate well, but the third does not correlate consistently with the other two, presumably due to variability of tone, pitch accent and intonation. Consequently, only the LF LTS of the absolute speech signal is used in the empirical analysis. An informal discussion of the relation between R-formant patterns and utterance structure and a selection of pragmatic variables over the same utterances showed some trends for R-formant functionality and thus useful directions for future research.

연구 동기 및 목표

• 저주파수 스펙트럼 성분을 사용하여 말 리듬을 분석하는 데 새로운 이론적 프레임워크를 개발하고 검증하는 것.
• 말의 장기 스펙트럼(LTS)에서 리듬 포르몬트(R-formants)가 억양 및 문장 구조적 특성과 관련이 있는지 탐색하는 것.
• 진폭 변조(AM), 진폭 환경 변조(AEM), 주파수 변조(FM, F0) 등의 다양한 신호 표현 방식에서 R-formants의 강건성 평가.
• 자연스러운 말에서 R-formants가 언어적 및 의사소통적 측면에서 기능적으로 수행하는 역할을 규명하는 것.
• 비유도적 자연스러운 말에서 리듬 기반 말 분석에 대한 향후 연구의 기초를 마련하는 것.

제안 방법

• 연구는 말 신호의 장기 스펙트럼(LTS)을 계산하여 저주파수 스펙트럼 피크를 식별하고, 이를 리듬 포르몬트(R-formants)로 간주한다.
• 세 가지 신호 표현 방식을 분석: 정류된 절대 신호(AM), 진폭 환경 변조(AEM), 기본 주파수(F0, FM).
• 스펙트럼 분석 기법을 사용하여 각 신호 유형의 LTS에서 R-formants를 추출하여 고세기 주파수 영역을 탐지한다.
• AM, AEM, FM 간의 R-formants 간 상관관계 분석을 수행하여 다양한 표현 방식 간 일관성 평가.
• 실제 적용 가능성을 평가하기 위해 비유도적 공개 말 자료를 대상으로 실증 분석을 수행한다.
• 비공식적 분석을 통해 R-formant 패턴이 문장 구조 및 강조, 어미 조절 등 의사소통적 특성과 연결됨을 탐색한다.

실험 결과

연구 질문

• RQ1 자연스러운 말의 장기 스펙트럼에서 명확한 저주파수 스펙트럼 피크(R-formants)를 신뢰성 있게 식별할 수 있는가?
• RQ2 진폭 변조(AM), 진폭 환경 변조(AEM), 기본 주파수(F0, FM) 등의 다양한 신호 표현 방식 간 R-formants는 어떻게 상관관계를 가지는가?
• RQ3 R-formant 패턴은 말의 문장적 및 의사소통적 특성과 어느 정도 일치하는가?
• RQ4 왜 F0(음고) 신호는 AM 및 AEM와는 달리 R-formants와 일관되지 않은 상관관계를 보이는가?
• RQ5 R-formants는 말 리듬과 억양에서 어떤 기능적 역할을 할 수 있는가?

주요 결과

• 리듬 포르몬트(R-formants)는 말의 장기 스펙트럼(LTS)에서 고세기 주파수 영역으로서 일관되게 식별 가능하다.
• 진폭 변조(AM) 절대 신호의 LTS와 진폭 환경 변조(AEM)의 LTS는 강한 상관관계를 보이며, 이는 공통된 리듬적 구조를 공유하고 있음을 시사한다.
• 기본 주파수(F0, FM) 신호는 AM 또는 AEM와 일관되지 않은 상관관계를 보이며, 이는 톤, 음고 강조, 억양의 변동성 때문일 가능성이 높다.
• 안정적이고 신뢰할 수 있는 R-formant 검출가능성으로 인해 실증 분석에는 오직 AM 신호의 LTS만 사용된다.
• 비공식적 분석을 통해 R-formant 패턴이 문장 구조 및 강조, 어미 조절 등의 의사소통적 특성과 관련된 경향을 보였다.
• 결과적으로 R-formants는 말 리듬의 강건하고 정량화 가능한 지표로서, 억양 및 언어 분석 분야에 응용 가능성이 있음을 시사한다.