[論文レビュー] Speech Emotion Recognition using Self-Supervised Features

Edmilson Morais, Ron Hoory+4 more|arXiv (Cornell University)|Feb 7, 2022

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、自己教師付き音声特徴を用いたモジュラーでエンドツーエンドのスティーブ・エモーション認識（SER）システムを提案する。上流・下流アーキテクチャを活用して、多様な事前学習モデルを統合する。本研究では、音声モダリティのみを用いてIEMOCAPデータセットで最先端の性能を達成し、適切に微調整された自己教師付き特徴が、テキスト入力を含まないマルチモーダルSOTAシステムと同等の性能を発揮できることを示している。

ABSTRACT

Self-supervised pre-trained features have consistently delivered state-of-art results in the field of natural language processing (NLP); however, their merits in the field of speech emotion recognition (SER) still need further investigation. In this paper we introduce a modular End-to- End (E2E) SER system based on an Upstream + Downstream architecture paradigm, which allows easy use/integration of a large variety of self-supervised features. Several SER experiments for predicting categorical emotion classes from the IEMOCAP dataset are performed. These experiments investigate interactions among fine-tuning of self-supervised feature models, aggregation of frame-level features into utterance-level features and back-end classification networks. The proposed monomodal speechonly based system not only achieves SOTA results, but also brings light to the possibility of powerful and well finetuned self-supervised acoustic features that reach results similar to the results achieved by SOTA multimodal systems using both Speech and Text modalities.

研究の動機と目的

• 自己教師付き事前学習特徴が自然言語処理を超えてスティーブ・エモーション認識（SER）に有効であるかを調査すること。
• さまざまな自己教師付き特徴抽出器を柔軟に統合できるモジュラーでエンドツーエンドのSERシステムを開発すること。
• 微調整戦略、特徴集約手法、分類器アーキテクチャの影響がSER性能に与える影響を分析すること。
• 自己教師付き特徴を用いたモノモーダル音声のみのシステムが、マルチモーダルSOTA性能に達成できるかを特定すること。
• IEMOCAPデータセットにおける自己教師付き特徴の最適な構成についての実証的知見を提供すること。

提案手法

• システムは上流・下流アーキテクチャを採用しており、上流モデルが生の音声から自己教師付き特徴を抽出し、下流モデルが感情を分類する。
• 特徴抽出のための上流エンコーダーとして、Wav2Vec 2.0、HuBERT、WavLM などの複数の自己教師付きモデルを評価する。
• フレームレベルの表現は、統計プーリング（平均と標準偏差）および時間的プーリングを用いて発話レベルの表現に集約される。
• 下流分類器は、ReLU活性化関数とドロップアウト正則化を備えた全結合ニューラルネットワークである。
• ハイパーパramータはグリッドサーチにより調整され、クロスエントロピー損失を用いてIEMOCAPデータセット上でモデルが微調整される。
• 異なる自己教師付きモデルのプラグアンドプレイ統合が可能で、比較分析に適している。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き音声特徴は、モノモーダル音声感情認識で最先端の性能を達成できるか？
• RQ2 自己教師付きモデルの選択が、IEMOCAPデータセットにおけるSER性能に与える影響はいかほどか？
• RQ3 自己教師付きSERにおける最適な特徴集約法と分類器アーキテクチャの組み合わせは何か？
• RQ4 自己教師付き特徴を用いた音声のみのシステムは、マルチモーダルSOTAシステムの性能にどの程度近づけるか？
• RQ5 微調整戦略が、自己教師付き特徴のSERにおける有効性に与える影響はいかほどか？

主な発見

• 提案されたモノモーダル音声のみのシステムは、IEMOCAPデータセットで最先端の性能を達成し、以前のSOTA結果を上回った。
• 自己教師付きモデルの微調整は、凍結された特徴を用いる場合と比較して、感情認識の正確性を顕著に向上させた。
• 最も優れた性能を示したモデルは、HuBERTを上流エンコーダーとして用い、下流分類器を慎重に調整し、統計プーリングを適用した。
• 本システムは、IEMOCAPデータセットで重み付きF1スコア72.3%を達成し、先行するモノモーダルアプローチを上回った。
• 自己教師付き特徴そのものだけで、テキストと音声の両方を用いるマルチモーダルシステムと同等の性能を達成できる。
• アブレーションスタディにより、特徴集約と分類器設計が、自己教師付き特徴を最大限に活かすために極めて重要であることが確認された。