[논문 리뷰] The analysis of Acoustic Phonetic Data: exploring differences in the spoken Romance languages

Davide Pigoli, Pantelis Z. Hadjipantelis외 2명|arXiv (Cornell University)|2015. 07. 27.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 로그스펙트로그램을 사용하여 5개의 Romance 언어 간의 발음 변동성을 분석하기 위한 통계적 청각 발음 모델링 방법을 제안한다. 언어별 공분산 구조와 단어에 따라 달라지는 평균을 분리함으로써, 다국어 간 발음 변환을 모델링하고, 화자들이 다른 언어에서 어떻게 들릴지 청각적으로 재구성할 수 있도록 한다. 본 방법은 숫자 발음 자료를 통해 검증된다.

ABSTRACT

The process of change, particularly understanding the historical and geographical spread, from older to modern languages has long been studied from the point of view of textual changes and phonetic transcriptions. However, it is somewhat more difficult to analyze these from an acoustic point of view, although this is likely to be the dominant method of transmission rather than through written records. Here, we propose a novel approach to the analysis of acoustic phonetic data, where the aim will be to model statistically speech sounds. In particular, we explore phonetic variation and change using a time-frequency representation, namely the log-spectrograms of speech recordings. After preprocessing the data to remove inherent individual differences, we identify time and frequency covariance functions as a feature of the language; in contrast, the mean depends mostly on the particular word that has been uttered. We build models for the mean and covariances (taking into account the restrictions placed on the statistical analysis of such objects) and use this to define a phonetic transformation that allows us to model how an individual speaker would sound in a different language, allowing the exploration of phonetic differences between languages. Finally, we map back these transformations to the domain of sound recordings, allowing us to listen to statistical analysis. The proposed approach is demonstrated using the recordings of the words corresponding to the numbers from one to ten as pronounced by speakers from five different Romance languages.

연구 동기 및 목표

• 구어로 된 Romance 언어 간의 청각 발음 변동성을 분석하기 위한 통계적 프레임워크를 개발하기 위해.
• 화자나 단어에 따라 달라지는 변동성에서 언어별로 고유한 발음 패턴을 분리하기 위해.
• 한 언어에서 말하는 화자의 목소리가 다른 Romance 언어에서 어떻게 들릴지 시뮬레이션하는 발음 변환을 모델링하기 위해.
• 통계적 변환을 청각적 신호로 되돌려 재구성하여 결과의 해석 가능성과 검증을 가능하게 하기 위해.
• 다섯 개의 Romance 언어에서 숫자 어휘의 발음 녹음을 사용하여 본 방법을 검증하기 위해.

제안 방법

• 논문은 음성 녹음에서 유도된 로그스펙트로그램 형태의 시간-주파수 표현을 사용한다.
• 개인화자 고유의 특성을 제거하고 언어 수준의 패턴에 집중하기 위해 데이터를 사전 처리한다.
• 언어별 공분산 기능은 특징으로 모델링하고, 단어별 평균은 별도로 다룬다.
• 공분산 행렬의 수학적 제약 조건을 고려하여 평균 및 공분산 성분에 대한 통계 모델을 구축한다.
• 모델링된 언어별 공분산과 평균 차이를 바탕으로 발음 변환을 정의한다.
• 변환을 역행하여 청각적 음성 신호를 재구성함으로써 통계적 결과의 청각적 평가가 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 로그스펙트로그램을 사용하여 Romance 언어 간의 청각 발음 변동성을 통계적으로 모델링할 수 있는가?
• RQ2 말하기에서 언어별 공분산 구조가 개인별 또는 단어별 변동성과 얼마나 다를 수 있는가?
• RQ3 통계적 발음 변환을 통해 한 Romance 언어의 화자가 다른 언어에서 어떻게 들릴지 시뮬레이션할 수 있는가?
• RQ4 모델이 언어 간 발음의 청각적으로 의미 있는 차이를 얼마나 정확하게 재구성할 수 있는가?
• RQ5 시간-주파수 표현이 다국어 간 발음 차이를 포착하는 데 어떤 역할을 하는가?

주요 결과

• 로그스펙트로그램 도메인에서의 언어별 공분산 함수는 개인 화자나 특정 단어와는 무관하게 Romance 언어 간에 고유한 발음 패턴을 포착한다.
• 스펙트로그램의 평균은 주로 말하는 단어에 의해 결정되며, 공분산 구조는 언어별로 고유한 발음 특징을 반영한다.
• 제안된 통계 모델은 한 언어에서 말하는 화자의 목소리가 다른 Romance 언어에서 어떻게 들릴지 시뮬레이션하는 발음 변환을 성공적으로 생성한다.
• 변환의 청각적 재구성 덕분에 연구자들이 모델링된 발음 차이를 듣고 검증할 수 있다.
• 본 방법은 숫자 어휘의 발음을 테스트 케이스로 사용하여 다섯 개의 Romance 언어 간 일관된 발음 차이를 보여준다.
• 이 방법은 청각 데이터를 기반으로 한 체계적이고 데이터 기반의 접근을 통해 언어 간 발음 변화와 변동성의 탐색을 가능하게 한다.