[論文レビュー] Acoustic Correlates of the Voice Qualifiers: A Survey

Shahan Ali Memon|arXiv (Cornell University)|Oct 29, 2020

Voice and Speech Disorders参考文献 46被引用数 8

ひとこと要約

本稿は、息声、かすれ声、ささやき声などの非言語的ボイス・クオリティ（声質）の音響的相関要因を調査し、主観的特徴を測定可能な音響パラメータおよびopenSMILE特徴量にマッピングする。本稿は、感情、性格、健康状態といった副言語的推論と声質を結びつける包括的な基準を確立し、検証済みの音響的手がかりと特徴量セットを用いる。

ABSTRACT

Our voices are as distinctive as our faces and fingerprints. There is a spectrum of non-disjoint traits that make our voices unique and identifiable, such as the fundamental frequency, the intensity, and most interestingly the quality of the speech. Voice quality refers to the characteristic features of an individual's voice. Previous research has from time-to-time proven the ubiquity of voice quality in making different paralinguistic inferences. These inferences range from identifying personality traits, to health conditions and beyond. In this manuscript, we first map the paralinguistic voice qualifiers to their acoustic correlates in the light of the previous research and literature. We also determine the openSMILE correlates one could possibly use to measure those correlates. In the second part, we give a set of example paralinguistic inferences that can be made using different acoustic and perceptual voice quality features.

研究の動機と目的

• 既存の文献に基づき、主観的声質をその音響的相関要因に体系的にマッピングすること。
• 声質パラメータを信頼性高く測定するためのopenSMILE特徴量を同定すること。
• 声質の音響的特徴が、発話者の特徴や感情状態を推定するためにどのように利用できるかを示すこと。
• 音声技術、感情計算、声質障害分野の研究者に役立つ基準フレームワークを提供すること。
• 機械学習応用のため、主観的声質と測定可能で計算可能な音響的特徴を結びつけること。

提案手法

• 16種類の声質（息声、かすれ声、声帯閉鎖異常など）の既知の音響的相関要因を特定するための文献レビューの実施。
• 各声質を生理的基盤と主観的定義に分類し、F0、HNR、ジタ、スペクトル傾きなどの関連音響的手がかりを同定。
• 同定された音響的特徴量を、実装可能な音声分析パイプラインに適したopenSMILE特徴セットにマッピング。
• 表1（表1）を用いて、声質、定義、生理的要因、音響的相関要因、対応するopenSMILE特徴量を照合。
• 声質の主観的知覚と音響モデリングに関する先行研究との整合性を確認することで、マッピングの妥当性を検証。
• 表2（表2）を用いて、自信、温かみ、魅力といった特徴への音響的特徴のリンクを含め、フレームワークを拡張。

実験結果

リサーチクエスチョン

• RQ1 息声、かすれ声、ささやき声といった主観的声質と信頼性の高い相関を示す音響的特徴は何か？
• RQ2 openSMILE特徴量をどのようにして声質の特性を計算的に測定・分類に活用できるか？
• RQ3 声質の特徴から、自信、温かみ、魅力といった発話者特徴を推定するために有効な音響的手がかりは何か？
• RQ4 かすれ声や震え声といった声質は、病的な状態や感情状態とどのように関連しているか？
• RQ5 多様な発話者状態や発声行動にわたる声質のための統一的音響的相関フレームワークを構築できるか？

主な発見

• 息声は、12 dB/オクターブより急なスペクトル傾き、低水準のHNR、上昇したH1-H2、2–5 kHzに対して5–8 kHzのエネルギーが増加することで信頼性高く示される。
• かすれ声は、低F0、不規則なピッチ、高いサブハーモニクス比（SHR）、特にH1-H2およびH1-A3測定値における調波振幅の低下によって特徴づけられる。
• 声帯閉鎖異常（グロットラライズド）声は、下向きのスペクトル傾き、F1振幅の低下、および増加したスペクトル傾きによって最もよく捉えられ、これらはすべてopenSMILEのmfccおよびスペクトル傾き特徴量で測定可能である。
• 自信と情熱は、高いF0、増加したスペクトルエネルギー、および高いゼロクロッシングレートに関連しており、これらはすべてopenSMILEのF0およびpcm_RMSenergy特徴量で検出可能である。
• 男性発話者において、成熟度と魅力は、低い中央値F0、広いF0レンジ、およびF3帯域幅の変動性の増加と相関し、F0semitoneFrom27.5Hzおよび帯域幅標準偏差特徴量で測定可能である。
• 女性発話者においては、魅力と自信は、広いF0レンジ、高いF1、および0–500 Hzの平均スペクトル傾きの低減と関連しており、slopeV0500_sma3nz_ameanおよびF1frequency_sma3nz_ameanといったopenSMILE特徴量が主要な手がかりを提供する。