[논문 리뷰] Modal locking between vocal fold and vocal tract oscillations

Atte Aalto, Daniel Aalto외 2명|arXiv (Cornell University)|2012. 11. 20.

Speech and Audio Processing인용 수 5

한 줄 요약

이 연구는 음성 생성에서 비선형 소스-필터 결합을 음성통로 음향학적 피드백이 성대 진동에 미치는 영향을 모델링하여 조사한다. 시뮬레이션과 실험 결과, 첫 번째 공명통(F1)을 횡단하는 음고 변화가 성대와 통로 동역학 간 지속적인 동기화인 모드 잠금을 유도하는 것으로 나타났으며, 인간 데이터보다 시뮬레이션에서 더 강한 효과를 보였는데, 이는 활성 생리적 보상 메커니즘이 존재할 가능성을 시사한다.

ABSTRACT

The human vocal folds are known to interact with the vocal tract acoustics during voiced speech production; namely a nonlinear source-filter coupling has been observed both by using models and in \emph{in vivo} phonation. These phenomena are approached from two directions in this article. We first present a computational dynamical model of the speech apparatus that contains an explicit filter-source feedback mechanism from the vocal tract acoustics back to the vocal folds oscillations. The model was used to simulate vocal pitch glideswhere the trajectory was forced to cross the lowest vocal tract resonance, i.e., the lowest formant $F_1$. Similar patterns produced by human participants were then studied. Both the simulations and the experimental results reveal an effect when the glides cross the first formant (as may happen in extipa{[i]}). Conversely, this effect is not observed if there is no formant within the glide range (as is the case in extipa{[ extscripta]}). The experiments show smaller effect compared to the simulations, pointing to an active compensation mechanism.

연구 동기 및 목표

• 음성 말하기 동안 성대 진동을 조절하는 음성통로 음향학적 특성의 역할을 조사하기 위해.
• 음성통로 공명이 성대 동역학에 되돌아오는 피드백 메커니즘을 모델링하기 위해.
• 음고 변화가 F1을 횡단할 때 시뮬레이션된 성대 행동과 인간의 생체 내 발성 데이터를 비교하기 위해.
• 공명통 횡단이 음성 생성에서 관측 가능한 동기화(모드 잠금)를 유도하는지 확인하기 위해.
• 시뮬레이션 결과와 인간 실험 데이터 간의 격차를 탐색하여 인간에서 활성 보상 메커니즘이 작용할 가능성을 탐색하기 위해.

제안 방법

• 명시적인 소스-필터 피드백을 포함한 음성 기관의 계산적 동역학 모델을 개발하였다.
• 음성통로 음향학적 특성이 성대 진동 주파수와 진폭에 영향을 주는 피드백 루프를 통합하였다.
• 자연스러운 음성 전이를 모방하기 위해 첫 번째 공명통(F1)을 횡단하는 음고 변화를 시뮬레이션하였다.
• 인간 참가자가 유사한 음고 변화를 수행하도록 유도하고, 성대 및 통로 동역학을 기록하였다.
• 시간-주파수 분석 및 상관 분석 방법을 사용하여 성대와 음성통로 진동 간의 동기화 패턴을 분석하였다.
• 시뮬레이션 결과와 실험 데이터를 비교하여 모드 잠금의 존재 및 강도를 평가하였다.

실험 결과

연구 질문

• RQ1 첫 번째 공명통(F1)을 횡단할 경우 성대와 음성통로 진동 간에 측정 가능한 동기화가 발생하는가?
• RQ2 계산 시뮬레이션과 인간 발성 간의 모드 잠금 강도는 어떻게 비교되는가?
• RQ3 활성 생리적 보상은 인간 발성자에서 관측된 잠금 효과를 줄이는 데 어떤 역할을 하는가?
• RQ4 음성 생성에서의 소스-필터 결합은 수동 피드백 메커니즘으로 묘사되는 것이 바람직한가, 아니면 활성 제어 과정인가?
• RQ5 변동 범위(공명통 횡단 유무에 따라)의 변화가 모드 잠금의 발생에 어떻게 영향을 미치는가?

주요 결과

• 음고 변화가 첫 번째 공명통(F1)을 횡단할 경우, 특히 [i] 발음에서 성대와 음성통로 진동 간에 모드 잠금이 관측된다.
• 공명통 횡단이 포함되지 않은 범위에서는 효과가 없으며, [a] 발음에서 이를 확인할 수 있어 공명통 공명이 동기화를 유도하는 데 핵심적인 역할을 한다는 것을 입증한다.
• 시뮬레이션 결과는 인간 실험보다 더 강한 모드 잠금을 보였으며, 이는 인간 발성자에서 활성 보상 메커니즘이 존재할 가능성을 시사한다.
• 음성통로 음향학적 특성이 성대에 피드백을 주는 메커니즘이 음성 생성에서 비선형 결합의 주요 원동력임을 확인하였다.
• 모델에서 관측된 소스-필터 결합 효과를 감소시키거나 조절하는 인간의 활성 제어 메커니즘이 존재한다는 결과를 지지한다.
• 이 연구는 공명통 횡단이 음성 생성 시스템에서 동적 동기화를 유도하는 중요한 촉매 역할을 한다는 것을 입증한다.