[論文レビュー] The Role of Phonetic Units in Speech Emotion Recognition

Jiahong Yuan, Xingyu Cai+3 more|arXiv (Cornell University)|Aug 2, 2021

Emotion and Mood Recognition参考文献 24被引用数 9

ひとこと要約

本稿では、微調整された Wav2vec 2.0 を用いて感情に依存する音声認識を活用し、音素、広義の音声クラス、および音節といった音声ユニットを分類することで、新しい音声感情認識手法を提案している。音声ユニットを組み込むことで性能が顕著に向上することを示しており、特に広義の音声クラスが IEMOCAP で最も高い性能を達成し、多言語環境でも有望な結果を示している。

ABSTRACT

We propose a method for emotion recognition through emotiondependent speech recognition using Wav2vec 2.0. Our method achieved a significant improvement over most previously reported results on IEMOCAP, a benchmark emotion dataset. Different types of phonetic units are employed and compared in terms of accuracy and robustness of emotion recognition within and across datasets and languages. Models of phonemes, broad phonetic classes, and syllables all significantly outperform the utterance model, demonstrating that phonetic units are helpful and should be incorporated in speech emotion recognition. The best performance is from using broad phonetic classes. Further research is needed to investigate the optimal set of broad phonetic classes for the task of emotion recognition. Finally, we found that Wav2vec 2.0 can be fine-tuned to recognize coarser-grained or larger phonetic units than phonemes, such as broad phonetic classes and syllables.

研究の動機と目的

• 音素、広義の音声クラス、音節といった音声ユニットを組み込むことで、音声感情認識の性能が向上するかどうかを調査すること。
• 異なる言語やデータセットにおいて、感情認識モデルの頑健性と一般化性能を評価すること。
• 従来の音素レベルのモデルと比較して、粗い粒度の音声ユニット（例：広義の音声クラス、音節）が感情認識で優れた性能を示すかどうかを特定すること。
• Wav2vec 2.0 が音素を超える、より広いまたは大きなユニット（広義の音声クラス、音節など）の認識に効果的に微調整可能かどうかを検討すること。
• 広義の音声クラスや音節が、言語に依存しない性質を有するため、多言語感情認識における可能性を検討すること。

提案手法

• 感情に依存する音声ユニット（音素、広義の音声クラス、音節など）を予測するように、事前学習済みの Wav2vec 2.0 モデルを微調整することで、音声感情認識を実施する。
• すべてのユニットに対して同じ Wav2vec 2.0 アーキテクチャを用い、文脈的な表現の上にタスク固有の分類ヘッドを追加する。
• 各発話が感情ラベルと関連付けられた音声データを用いて、IEMOCAP データセットでモデルを学習する。発話は音声ユニットにトランスクリプトされ、それぞれに感情ラベルが付与される。
• 得られたモデルを IEMOCAP および他の3つの多言語データセット（EmoDB（ドイツ語）、KSU（アラビア語）、Mandarin Affective Speech（中国語））で評価する。
• 中国語データセットでテストする際には、サンプリングレートの不一致を補うために、音声を 8 kHz から 16 kHz にアップサンプリングし、データ拡張を適用する。
• すべてのデータセットおよび音声ユニットタイプにおいて、主評価指標として加重正確度（weighted accuracy）を用いる。

実験結果

リサーチクエスチョン

• RQ1 Wav2vec 2.0 は、標準的な音素を超えて、粗い粒度のユニット（例：広義の音声クラス、音節）の認識に微調整可能か？
• RQ2 音素、広義の音声クラス、音節のうち、どのタイプの音声ユニットが最も高い感情認識正確度を達成するか？
• RQ3 ある言語で学習した感情認識モデルの性能が、他の言語に一般化される際、特に言語に依存しないユニット（広義の音声クラス）を用いる場合にどうなるか？
• RQ4 広義の音声クラスや音節を用いることで、言語固有の音素と比較して、多言語感情認識における頑健性が向上するか？
• RQ5 データの不一致（例：サンプリングレートの違い）が、異なるデータセット間での感情認識モデルの転送性能に与える影響は何か？

主な発見

• 広義の音声クラスで学習したモデルが、IEMOCAP データセットで最も高い感情認識正確度を達成し、音素モデルおよび発話レベルモデルを顕著に上回った。
• IEMOCAP で最高の性能を示したモデルは、広義の音声クラスを用いて 73.2% の加重正確度を達成し、以前に報告された結果と比較して顕著な向上を示した。
• 多言語データセットでは、広義の音声クラスモデルが EmoDB（ドイツ語）で 66.7%、KSU（アラビア語）で 60.6%、Mandarin Affective Speech で 39.9% の正確度を達成し、音素モデルよりも優れた一般化性能を示した。
• 音節レベルのモデルはドイツ語およびアラビア語データセットで音素レベルのモデルを上回り、それぞれ 68.4% および 55.0% の正確度を示した。これは、より高い頑健性を示している。
• 中国語データセットでの低性能（音素で 40.7%）は、主に 8 kHz と 16 kHz のサンプリングレートの不一致に起因しており、元の 8 kHz データを用いた 7 折り交差検証で 75.2% の正確度（初期子・終音）が得られたことから、その要因が確認された。
• Wav2vec 2.0 を、音素を超えるより大きなユニット（広義の音声クラス、音節など）に微調整することが可能で、言語モデルを必要とせず、階層的な音声表現を学習できる柔軟性を示した。