[論文レビュー] Quantifying and Correlating Rhythm Formants in Speech

Dafydd Gibbon, Peng Li|arXiv (Cornell University)|Sep 3, 2019

Phonetics and Phonology Research参考文献 23被引用数 5

ひとこと要約

本論文は、発話の長期スペクトルにおける特徴的な低周波数帯域のスペクトルピークとしてのリズムフォーマント（R-フォーマント）を導入し、発話リズムを定量化するための新しい枠組みを提示する。振幅変調信号およびエンベロープ変調信号を用いて、著者らはR-フォーマントが発話リズムおよび構造と強く相関することを示し、自然発話におけるプロソディーおよび言語的機能を分析するための新たなツールを提供する。

ABSTRACT

The objective of the present study is exploratory: to introduce and apply a new theory of speech rhythm zones or rhythm formants (R-formants). R-formants are zones of high magnitude frequencies in the low frequency (LF) long-term spectrum (LTS), rather like formants in the short-term spectra of vowels and consonants. After an illustration of the method, an R-formant analysis is made of non-elicited extracts from public speeches. The LF-LTS of three domains, the amplitude modulated (AM) absolute (rectified) signal, the amplitude envelope modulation (AEM) and frequency modulation (FM, F0, 'pitch') of the signal are compared. The first two correlate well, but the third does not correlate consistently with the other two, presumably due to variability of tone, pitch accent and intonation. Consequently, only the LF LTS of the absolute speech signal is used in the empirical analysis. An informal discussion of the relation between R-formant patterns and utterance structure and a selection of pragmatic variables over the same utterances showed some trends for R-formant functionality and thus useful directions for future research.

研究の動機と目的

• 低周波数スペクトル成分を用いた発話リズム分析のための新しい理論的枠組みを構築・検証すること。
• 発話の長期スペクトル（LTS）に現れるリズムフォーマント（R-フォーマント）が、プロソディックおよび文構造的特徴と相関するかどうかを検討すること。
• R-フォーマントの信号表現の違い（振幅変調（AM）、振幅エンベロープ変調（AEM）、周波数変調（FM、F0））に対して、その頑健性を評価すること。
• R-フォーマントが自然発話における言語的および実用的側面に果たす潜在的機能的役割を同定すること。
• 自然で誘発されない発話におけるリズムに基づく発話分析の今後の研究基盤を提供すること。

提案手法

• 本研究では、発話信号の長期スペクトル（LTS）を計算し、低周波数帯域のスペクトルピーク（リズムフォーマント（R-フォーマント））を同定する。
• 3種類の信号表現を分析対象とする：整流された絶対値信号（AM）、振幅エンベロープ変調（AEM）、基本周波数（F0、FM）。
• スペクトル解析手法を用いて、各信号タイプのLTSからR-フォーマントを抽出し、高マグニチュード周波数帯域を特定する。
• AM、AEM、FM間のR-フォーマントの相関を評価するため、相関分析を実施する。
• 実証的分析では、現実世界への適用可能性を評価するため、非誘発的公共発話の抽出データを用いる。
• 非公式な分析では、R-フォーマントパターンと文構造、強調やイントネーションなどの実用的特徴との関連を検討する。

実験結果

リサーチクエスチョン

• RQ1 自然発話の長期スペクトルにおいて、明確に識別可能な低周波数帯域のスペクトルピーク（R-フォーマント）が得られるか。
• RQ2 振幅変調（AM）、振幅エンベロープ変調（AEM）、基本周波数（F0、FM）といった異なる信号表現間で、R-フォーマントはどの程度相関するか。
• RQ3 R-フォーマントのパターンは、話の構造的および実用的特徴とどの程度一致するか。
• RQ4 F0（ピッチ）信号はなぜAMやAEMと比べて一貫した相関を示さないのか。
• RQ5 R-フォーマントは発話リズムおよびプロソディーにおいて、どのような機能的役割を果たす可能性があるか。

主な発見

• リズムフォーマント（R-フォーマント）は、発話の長期スペクトル（LTS）において一貫して識別可能であり、高マグニチュード周波数帯域として現れる。
• 振幅変調（AM）の絶対値信号および振幅エンベロープ変調（AEM）のLTSは強く相関しており、共通するリズム的構造を示している。
• 基本周波数（F0、FM）信号は、AM や AEM と一貫した相関を示さないことが判明し、これはトーン、ピッチアクセント、イントネーションのばらつきによるものと推定される。
• AM信号のLTSのみが、安定的かつ信頼性の高いR-フォーマント検出が可能であるため、実証的分析に使用された。
• 非公式な分析から、R-フォーマントパターンと文構造、強調やフレージングといった実用的特徴との間には傾向が認められた。
• 結果から、R-フォーマントは、プロソディーおよび言語的分析への応用が可能な、頑健で定量的可能な発話リズムのマーカーである可能性が示唆された。