[論文レビュー] Linguistic and Gender Variation in Speech Emotion Recognition using Spectral Features

Zachary Dair, Ryan Donovan+1 more|arXiv (Cornell University)|Dec 17, 2021

Music and Audio Processing被引用数 4

ひとこと要約

本研究では、メル周波数ケプストラム係数（MFCC）、メルスペクトログ램、スペクトルコントラストなどのスペクトル特徴を用いて、性別および言語的差が音声感情認識（SER）に与える影響を調査した。英語、ドイツ語、イタリア語のデータセットを用いて畳み込みニューラルネットワーク（CNN）を訓練した結果、モノリンガルおよびクロスリンガル設定では感情分類の正確性が高かったが、マルチリンガルデータでは顕著に低下しており、特に高エネルギー（例：怒り、喜び）および低エネルギー（例：嫌悪、恐怖）の感情において、男性と女性の話者間で顕著なパフォーマンス差が見られた。

ABSTRACT

This work explores the effect of gender and linguistic-based vocal variations on the accuracy of emotive expression classification. Emotive expressions are considered from the perspective of spectral features in speech (Mel-frequency Cepstral Coefficient, Melspectrogram, Spectral Contrast). Emotions are considered from the perspective of Basic Emotion Theory. A convolutional neural network is utilised to classify emotive expressions in emotive audio datasets in English, German, and Italian. Vocal variations for spectral features assessed by (i) a comparative analysis identifying suitable spectral features, (ii) the classification performance for mono, multi and cross-lingual emotive data and (iii) an empirical evaluation of a machine learning model to assess the effects of gender and linguistic variation on classification accuracy. The results showed that spectral features provide a potential avenue for increasing emotive expression classification. Additionally, the accuracy of emotive expression classification was high within mono and cross-lingual emotive data, but poor in multi-lingual data. Similarly, there were differences in classification accuracy between gender populations. These results demonstrate the importance of accounting for population differences to enable accurate speech emotion recognition.

研究の動機と目的

• スペクトル特徴を用いて、性別および言語的変異が音声感情認識（SER）に与える影響を検討すること。
• モノリンガル、マルチリンガル、クロスリンガルの音声感情分類において、CNNベースのモデルのパフォーマンスを評価すること。
• 多様な集団において感情分類に最も効果的なスペクトル特徴（MFCC、メルスペクトログラム、スペクトルコントラスト）を特定すること。
• 性別および言語に起因する声の違いが、SERシステムの汎用性および正確性に与える影響を評価すること。
• 標準化されたデータ収集および正規化手法の導入による、クロスリンガルおよびクロスジェンダーSERのパフォーマンス向上の必要性を強調すること。

提案手法

• 英語、ドイツ語、イタリア語の音声データから、メル周波数ケプストラム係数（MFCC）、メルスペクトログラム、スペクトルコントラストなどのスペクトル特徴を抽出した。
• 抽出されたスペクトル特徴を用いて、感情分類のための畳み込みニューラルネットワーク（CNN）を訓練および評価した。
• モデルは3つの設定でテストされた：モノリンガル（同じ言語）、マルチリンガル（訓練およびテストで複数言語）、クロスリンガル（1つの言語で訓練、別の言語でテスト）。
• 比較的分析により、異なる性別および言語的グループにおける感情分類に最も効果的なスペクトル特徴を同定した。
• 実証的評価により、性別および言語が6つの基本的感情（怒り、嫌悪、恐怖、喜び、悲しみ、驚き）の分類正確性に与える影響を性能指標を用いて評価した。
• 統計的評価を実施し、パフォーマンスの差が固有の集団差異に起因するのか、それともデータサンプリングの制限に起因するのかを特定した。

実験結果

リサーチクエスチョン

• RQ1 声の特徴における性別の違いが、スペクトル特徴を用いた音声感情認識の正確性にどのように影響するか？
• RQ2 英語、ドイツ語、イタリア語における言語的差が、CNNベースの感情分類モデルのパフォーマンスにどの程度影響を及えるか？
• RQ3 どのスペクトル特徴（MFCC、メルスペクトログラム、スペクトルコントラスト）が、多様な性別および言語的集団において感情分類に最も効果的か？
• RQ4 なぜマルチリンガルSERのパフォーマンスがモノリンガルおよびクロスリンガル設定よりも劣化するのか？また、録音のばらつきおよび正規化の役割は何か？
• RQ5 信号エネルギーおよび振幅特性が、異なる言語における男性および女性話者における感情検出の正確性にどのように影響するか？

主な発見

• CNNモデルはモノリンガルおよびクロスリンガル設定では高い感情分類正確性を達成したが、言語的および録音ばらつきのためマルチリンガル設定では顕著に低下した。
• 高エネルギーの感情（例：怒り、喜び）はドイツ語話者の男性でより正確に検出された可能性があり、このグループでは振幅が高く、声の特徴がきつい傾向があった。
• 低エネルギーの感情（例：嫌悪、恐怖）は全言語で女性の声からより正確に分類された可能性があり、振幅が低く、声の発音がやわらかい傾向に起因する。
• 男性話者と女性話者間のスペクトル表現に顕著な差が見られ、性別特有のパフォーマンス差が生じ、男女混合モデルは性別特化モデルに比べて性能が劣った。
• 本研究では、振幅およびエネルギー関連のスペクトル特徴が、性別および言語的差を考慮した場合に正確な感情認識に不可欠であると同定した。
• 小規模なサンプルサイズ（N = 40）および言語グループ間での話者数の不均衡が、観察された差を誇張した可能性があり、一般化可能性に制限を及した。今後の研究では、より大規模でバランスの取れたデータセットの構築が求められる。