[논문 리뷰] Modal locking between vocal fold and vocal tract oscillations: Experiments and statistical analysis

Daniel Aalto, Jarmo Malinen외 1명|arXiv (Cornell University)|2012. 11. 20.

Speech and Audio Processing참고 문헌 12인용 수 4

한 줄 요약

이 연구는 음성 생성에서 비선형 소스-필터 결합을 컴퓨터 역학 모델과 인간의 모음슬라이드 실험을 결합하여 조사한다. 연구는 음성 폭의 진동(f₀)이 음성통의 제1 형성모드(F₁)에 고정되는 현상, 즉 주파수 점프를 일으키며, 특히 상승 슬라이드에서 두드러지게 나타남을 보여준다. 그러나 인간 피실험자들은 활성 보정 메커니즘 덕분에 이러한 영향을 줄여 나타낸다.

ABSTRACT

The human vocal folds are known to interact with the vocal tract acoustics during voiced speech production; namely a nonlinear source-filter coupling has been observed both by using models and in \emph{in vivo} phonation. These phenomena are approached from two directions in this article. We first present a computational dynamical model of the speech apparatus that contains an explicit filter-source feedback mechanism from the vocal tract acoustics back to the vocal folds oscillations. The model was used to simulate vocal pitch glideswhere the trajectory was forced to cross the lowest vocal tract resonance, i.e., the lowest formant $F_1$. Similar patterns produced by human participants were then studied. Both the simulations and the experimental results reveal an effect when the glides cross the first formant (as may happen in extipa{[i]}). Conversely, this effect is not observed if there is no formant within the glide range (as is the case in extipa{[ extscripta]}). The experiments show smaller effect compared to the simulations, pointing to an active compensation mechanism.

연구 동기 및 목표

• 비선형 소스-필터 결합이 인간 음성 생성에서 존재하고 영향을 미치는지, 특히 음성 폭 주파수(f₀)가 제1 형성모드(F₁)를 가로질러갈 때를 중심으로 조사한다.
• 컴퓨터 모델이 예측한 바와 같이, 모음 슬라이드 동안 f₀와 F₁ 간의 모드 고정이 발생하는지 확인한다.
• 음성통 공명의 피드백으로 인한 f₀ 불안정성에 대비한 생리적 보정 메커니즘의 역할을 평가한다.
• 모의 실험 결과와 실험 결과를 비교하여 모델의 타당성을 검증하고 관찰된 주파수 점프의 차이를 이해한다.
• 이 결합이 청소년기 라리지 변화가 음역 제어에 영향을 줄 수 있는 음성 발달에 미치는 영향을 탐구한다.

제안 방법

• 음성통 음향 피드백이 음성 폭 진동에 직접적으로 영향을 주는 것을 고려한 음성 기관의 컴퓨터 역학 모델을 개발하였다.
• 4질량 모델을 사용한 음성 폭과 공진 음성통 필터를 결합한 모델을 통해 f₀ 슬라이드가 F₁을 가로질러 시뮬레이션되었다.
• 여성 참가자들이 제어된 f₀ 궤적을 따라 모음 슬라이드(예: /i/)를 발화하는 실험 데이터를 수집하였다.
• 혼합 효과 모델과 동적 범위(DR) 지표를 사용한 통계 분석을 통해 f₀ 점프의 존재 여부와 크기를 평가하였다.
• 모델은 하모닉 주파수의 하위조화(예: 옥타브 점프)로의 고정을 예측했지만, 주파수 검출 알고리즘이 분석 범위를 200–400 Hz로 제한하였다.
• 상승 슬라이드와 하강 슬라이드 간의 제어 지연과 비대칭성을 고려하여 관찰된 불안정성 패atters의 차이를 설명하였다.

실험 결과

연구 질문

• RQ1 컴퓨터 모델이 예측한 바와 같이, f₀가 F₁을 가로질러 모음 슬라이드 중 f₀와 F₁ 간의 모드 고정이 발생하는가?
• RQ2 인간 참가자로부터의 실험 결과는 모의 실험 결과와 비교해 f₀ 불안정성과 주파수 점프 측면에서 어떻게 다를까?
• RQ3 인간의 활성 보정 메커니즘이 소스-필터 피드백으로 인한 영향을 모의 실험에 비해 어느 정도 줄이는가?
• RQ4 상승 슬라이드가 하강 슬라이드와 유사한 주파수 궤적을 보일지라도 관찰 가능한 불안정성이 더 높은 이유는 무엇인가?
• RQ5 관찰된 f₀ 점프의 비대칭성은 인간 시스템의 제어 지연과 청각 피드백 처리로 설명될 수 있는가?

주요 결과

• 모의 실험 결과, f₀와 F₁ 간의 강력하고 견고한 모드 고정 효과가 확인되어 f₀가 F₁을 가로질러갈 때 뚜렷한 주파수 점프가 발생함을 보여주었다.
• 실험 데이터는 f₀ 불안정성의 감소된 그러나 여전히 확인 가능한 영향을 보여주었으며, 인간 음성에서 비선형 필터-소스 피드백의 존재를 뒷받침하였다.
• 상승 슬라이드에서 더 두드러진 불안정성 비대칭성은 하강 슬라이드에서 피드백 제어의 반응 시간이 더 길어지기 때문으로 기인되었다.
• 인간 발화자에서의 활성 보정 메커니즘이 f₀ 점프를 억제함으로써, 실험 결과의 효과 크기가 모의 실험에 비해 더 작아진 것으로 설명된다.
• 동적 범위(DR) 지표는 실제 세계의 점프가 모의 실험보다 더 부드럽게 나타나며, DR 값이 가속된 음역 이동으로 인해 1/3에 가까워짐을 시사하였다.
• 모델은 옥타브 점프(하위조화 고정)를 예측했지만, 주파수 검출 알고리즘이 분석 범위를 200–400 Hz로 제한함으로써 이는 필터링되었다.