[논문 리뷰] How far are vowel formants from computed vocal tract resonances?

Daniel Aalto, Antti Huhtala외 5명|arXiv (Cornell University)|2012. 08. 29.

Phonetics and Phonology Research참고 문헌 30인용 수 10

한 줄 요약

이 연구는 MRI 유도 3차원 기하학적 구조에서 유한요소법(FEM)을 사용해 수치적으로 계산된 음성관 공명 주파수를 동시에 기록된 발성 음운의 형성주파수와 비교한다. 입구에서 단순화된 Dirichlet 경계 조건을 사용함에도 불구하고, [i]와 [u]와 같은 입을 가까이 다문 음운에서는 0.7 세미톤 이내의 정확도(≤0.7 semitones)를 달성하지만, [a]와 [ae:]와 같은 입을 크게 벌린 음운에서는 약 3 세미톤의 오차가 발생하여 주로 외부 음향 공간과 개방된 후두구의 모델링 부족 때문이므로, 이러한 경계 조건을 개선하면 오차를 1 세미톤 이내로 줄일 수 있다.

ABSTRACT

We compare numerically computed resonances of the human vocal tract with formants that have been extracted from speech during vowel pronunciation. The geometry of the vocal tract has been obtained by MRI from a male subject, and the corresponding speech has been recorded simultaneously. The resonances are computed by solving the Helmholtz partial differential equation with the Finite Element Method (FEM). Despite a rudimentary exterior space acoustics model, i.e., the Dirichlet boundary condition at the mouth opening, the computed resonance structure differs from the measured formant structure by $\approx$ 0.7 semitones for [i] and [u] having small mouth opening area, and by $\approx$ 3 semitones for vowels [a] and [ae] that have a larger mouth opening. The contribution of the possibly open velar port has not been taken into considaration at all which adds the discrepancy for [a] in the present data set. We conclude that by improving the exterior space model and properly treating the velar port opening, it is possible to computationally attain four lowest vowel formants with an error less than a semitone. The corresponding wave equation model on MRI-produced vocal tract geometries is expected to have a comparable accuracy.

연구 동기 및 목표

• MRI 기반 3차원 기하학적 구조에서 유한요소법(FEM)을 사용해 계산된 음성관 공명 주파수의 정확도를 측정된 음운 형성주파수와 평가하는 것.
• 지속적인 음운 발성에서 계산된 공명 주파수와 측정된 형성주파수 간의 오차 원인을 규명하고 정량화하는 것.
• 특히 입구에서의 Dirichlet 경계 조건과 개방된 후두구의 모델링 부족을 포함한 단순화된 경계 조건이 공명 주파수 예측 정확도에 미치는 영향을 평가하는 것.
• 외부 음향 공간과 후두구의 경계 조건을 개선하면 계산된 공명 주파수의 오차를 1 세미톤 이내로 줄일 수 있는지 확인하는 것.

제안 방법

• 남성 핀란드어 어조어의 음운 발성 중 MRI 스캔을 통해 음성관 기하학적 구조를 재구성하였다.
• 3차원 기하학적 구조에서 음향 공명 주파수를 계산하기 위해 유한요소법(FEM)을 사용해 헬름홀츠 방정식을 해결하였다.
• 파동 방정식 모델(1)을 사용하였으며, 입구에서 Dirichlet 경계 조건(Γ₁), 음성관 벽면에서 노이만 조건(Γ₂), 제어 표면에서 간질성 입력 모델(Γ₃)을 적용하였다.
• 선형 예측 부호화(LPC)를 사용해 동시에 기록된 발성에서 형성주파수를 추출하였으며, [i]의 F₃ 및 F₄에는 고차수 LPC를 사용하였다.
• 계산된 공명 주파수(Rᵢ)와 측정된 형성주파수(Fᵢ) 간의 오차는 D = 12·ln(Rᵢ/Fᵢ)/ln(2) 공식을 사용해 세미톤 단위로 정량화하였다.
• 공명 비율(Rᵢ/R₁)과 형성주파수 비율(Fᵢ/F₁)을 비교하고, 개방된 후두구의 영향을 분석함으로써 모델의 타당성을 검증하였다.

실험 결과

연구 질문

• RQ1 MRI 기반 3차원 기하학적 구조에서 유한요소법(FEM)으로 계산된 음성관 공명 주파수는 측정된 음운 형성주파수와 얼마나 정확하게 일치하는가?
• RQ2 입의 벌어진 크기가 다른 음운에서 계산된 공명 주파수와 측정된 형성주파수 간의 주요 오차 원인은 무엇인가?
• RQ3 특히 입구에서 Dirichlet 경계 조건을 사용하고 외부 음향 공간을 현실적으로 모델링하지 못함으로써 공명 주파수 예측 정확도에 어떤 영향을 미치는가?
• RQ4 개방된 후두구가 [a]와 같은 음운에서 계산된 공명 주파수와 측정된 형성주파수 간의 불일치에 어떤 영향을 미치는가?
• RQ5 입구와 후두구의 경계 조건을 개선함으로써 공명 주파수 계산 정확도를 측정된 형성주파수의 1 세미톤 이내로 향상시킬 수 있는가?

주요 결과

• [i]와 [u]와 같은 입을 가까이 다문 음운에서는 계산된 공명 주파수와 측정된 형성주파수 간의 오차가 약 0.7 세미톤 수준이며, 단순화된 경계 조건에도 불구하고 높은 일치도를 보임을 시사한다.
• 입을 크게 벌린 음운 [a]와 [ae:]에서는 오차가 약 3 세미톤으로 증가하며, 주로 입구에서 비현실적인 Dirichlet 경계 조건 때문임을 확인하였다.
• MRI 스캔에서 [a] 음운의 경우 개방된 후두구가 공명 오차에 크게 기여하였으며, 계산 모델은 닫혀 있고 완전히 반사되는 경계 조건을 가정한 반면 실제 음성관은 개방된 비문구를 가졌기 때문이다.
• 모든 음운에서 공명 비율(Rᵢ/R₁)과 형성주파수 비율(Fᵢ/F₁) 간에 양호한 상관관계가 확인되어, 모델이 공명의 상대적 구조를 잘 유지하고 있음을 시사한다.
• 모델은 [u]에서 가장 우수한 성능을 보였으며, 입이 작고 후두구가 닫혀 있어 오차가 최소화되었고, 자연스러운 형성주파수 변동 수준(약 0.5 세미톤)과 유사하였다.
• 연구는 외부 음향 공간과 후두구의 모델링을 개선할 경우, 측정된 형성주파수와 1 세미톤 이내의 오차로 공명 주파수를 예측하는 것이 가능하다고 결론 내린다.