[論文レビュー] The analysis of Acoustic Phonetic Data: exploring differences in the spoken Romance languages

Davide Pigoli, Pantelis Z. Hadjipantelis+2 more|arXiv (Cornell University)|Jul 27, 2015

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、5つの romance 語における発音の変異を分析するために、対数スペクトログラムを用いた統計的音声 Phonetic モデリング手法を提案する。言語固有の共分散構造と語依存の平均値を分離することで、言語間の音声的変換をモデル化し、話者が異なる言語で発音する際の音声がどのように聞こえるかを聴覚的に再構成可能であることを示している。本手法は、数字の発音を用いて検証されている。

ABSTRACT

The process of change, particularly understanding the historical and geographical spread, from older to modern languages has long been studied from the point of view of textual changes and phonetic transcriptions. However, it is somewhat more difficult to analyze these from an acoustic point of view, although this is likely to be the dominant method of transmission rather than through written records. Here, we propose a novel approach to the analysis of acoustic phonetic data, where the aim will be to model statistically speech sounds. In particular, we explore phonetic variation and change using a time-frequency representation, namely the log-spectrograms of speech recordings. After preprocessing the data to remove inherent individual differences, we identify time and frequency covariance functions as a feature of the language; in contrast, the mean depends mostly on the particular word that has been uttered. We build models for the mean and covariances (taking into account the restrictions placed on the statistical analysis of such objects) and use this to define a phonetic transformation that allows us to model how an individual speaker would sound in a different language, allowing the exploration of phonetic differences between languages. Finally, we map back these transformations to the domain of sound recordings, allowing us to listen to statistical analysis. The proposed approach is demonstrated using the recordings of the words corresponding to the numbers from one to ten as pronounced by speakers from five different Romance languages.

研究の動機と目的

• 話されている romance 語間における音声的変異を分析するための統計的フレームワークの構築を目的とする。
• 話者や語に依存する変動から、言語固有の音声的パターンを分離することを目的とする。
• ある romance 語の話者が別の言語で発音する際の音声がどのように聞こえるかを模倣する音声的変換をモデル化することを目的とする。
• 統計的変換を再び聴覚的な音声信号に変換することで、結果の解釈可能性と検証性を高めることを目的とする。
• 本手法を5つの romance 語の数字語の発音記録を用いて実証することを目的とする。

提案手法

• 本手法は、音声記録から得られる時間周波数表現として、対数スペクトログラムを用いる。
• 個々の話者に特有の特徴を除去するための前処理を行い、言語レベルのパターンに焦点を当てる。
• 言語固有の共分散関数を特徴量としてモデル化し、語固有の平均値は別個に扱う。
• 平均と共分散の両成分に対して統計モデルを構築し、共分散行列が持つ数学的制約を尊重する。
• モデル化された言語固有の共分散と平均値の差に基づいて、音声的変換を定義する。
• 変換を逆方向に処理することで、聴覚的な音声信号を再構成し、統計的発見の聴覚的評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、スペクトログラムを用いて romance 語間の音声的変異を統計的にモデル化できるか？
• RQ2 話者や語に依存する変動とは対照的に、言語固有の共分散構造はどの程度異なるか？
• RQ3 統計的音声的変換により、ある romance 語の話者が別の言語で発音する際の音声が再現可能か？
• RQ4 モデルは、言語間の発音の知覚的に意味のある違いをどの程度正確に再構成できるか？
• RQ5 時間周波数表現は、言語間の音声的差異を捉える上で果たす役割は何か？

主な発見

• 対数スペクトログラム領域における言語固有の共分散関数は、話者や特定の語に依存しない、言語ごとの特徴的な音声的パターンを捉えている。
• スペクトログラムの平均値は主に発話中の語に依存するが、共分散構造は言語固有の音声的特徴を反映している。
• 提案された統計的モデルは、話者の声を別の romance 語で発音したように変換する音声的変換を効果的に生成している。
• 変換の聴覚的再構成により、研究者がモデル化された音声的差異を聴取し、検証することが可能である。
• 本手法は、5つの romance 語の間で一貫した音声的差異を示しており、数字語の発音をテストケースとして用いている。
• 本アプローチにより、音声データを用いて、系統的かつデータ駆動型の言語間の音声的変化と変異の探求が可能になる。