[論文レビュー] emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation

Ziyang Ma, Zhisheng Zheng+5 more|arXiv (Cornell University)|Dec 23, 2023

Emotion and Mood Recognition被引用数 6

ひとこと要約

emotion2vecは、262時間のラベルなし感情データを用いてオンライン distillation を用いた自己教師あり学習で事前学習された、汎用的で自己教師ありの音声感情表現モデルである。IEMOCAPにおいて最先端の性能を達成し、10言語および複数の感情タスクに一般化し、単純な線形ヘッドの微調整で一般用途および感情特化型モデルを上回る。

ABSTRACT

We propose emotion2vec, a universal speech emotion representation model. emotion2vec is pre-trained on open-source unlabeled emotion data through self-supervised online distillation, combining utterance-level loss and frame-level loss during pre-training. emotion2vec outperforms state-of-the-art pre-trained universal models and emotion specialist models by only training linear layers for the speech emotion recognition task on the mainstream IEMOCAP dataset. In addition, emotion2vec shows consistent improvements among 10 different languages of speech emotion recognition datasets. emotion2vec also shows excellent results on other emotion tasks, such as song emotion recognition, emotion prediction in conversation, and sentiment analysis. Comparison experiments, ablation experiments, and visualization comprehensively demonstrate the universal capability of the proposed emotion2vec. To the best of our knowledge, emotion2vec is the first universal representation model in various emotion-related tasks, filling a gap in the field.

研究の動機と目的

• 多様な感情タスクおよび言語に一般化可能な汎用的音声感情表現モデルの欠如に対処すること。
• 事前学習中に発話レベルおよびフレームレベルの自己教師あり損失を統合することで、音声感情表現学習を改善すること。
• 広範な微調整を必要とせず、一般用途SSLモデルおよびタスク特化型感情モデルを上回るモデルを開発すること。
• 学習済み表現のゼロショット転送性を、音声感情認識（SER）、楽曲の感情認識、センチメント分析などの下流タスクに示すこと。
• オンライン distillation およびマルチレベルの監視が、感情に敏感な表現を学習する有効性を検証すること。

提案手法

• オンライン distillation パラダイムを用いて、262時間のオープンソースでラベルなしの感情データ上で emotion2vec を事前学習し、自己教師あり学習を可能にする。
• 発話レベルおよびフレームレベルの対照的損失を併用して、事前学習中にグローバルな感情的文脈とローカルな音声的詳細を捉える。
• 発話レベル損失のポジティブサンプルとして、チャンク埋め込みを用いる。これはトークンレベルおよびグローバルレベル手法を上回る性能を示す。
• 発話レベル損失とフレームレベル損失を1:1の比率で重み付けした組み合わせを適用し、最適な性能を達成する。
• 学習済み表現の分析およびモデル間のクラス分離性の比較のために、UMAP可視化を実施する。
• 公平な比較のため、下流評価のための単純な線形分類器を emotion2vec 特徴の上に訓練する。

実験結果

リサーチクエスチョン

• RQ1 発話レベルおよびフレームレベルの損失を併用した自己教師あり事前学習アプローチは、既存のSSLモデルに比べ、より判別力のある音声感情表現を学習できるか？
• RQ2 emotion2vecは、音声感情認識を越えて、複数の言語および感情タスクに一般化できるか？
• RQ3 発話レベルおよびフレームレベルの監視を組み合わせることで、単一監視戦略に比べ、表現品質がどのように向上するか？
• RQ4 emotion2vecは、線形ヘッドの微調整のみで、IEMOCAPで最先端の性能を達成でき、一般SSLモデルおよび感情専門モデルを上回るか？
• RQ5 学習済み表現のクラス内コンパクト性およびクラス間マージンの観点から、emotion2vecの表現は視覚的および定量的にどのように他のモデルと比較されるか？

主な発見

• emotion2vecは、線形ヘッドのみを用いてIEMOCAPデータセットで72.13%の加重正答率を達成し、すべての主流のSSLモデルおよび専門モデルを上回る。
• 発話レベルおよびフレームレベル損失を併用したモデル（71.79% WA）は、フレームレベル損失のみ（70.85% WA）や発話レベル損失のみ（28.96% WA）のモデルを顕著に上回る。
• emotion2vecは、10言語にまたがる13の多様なデータセットにおいて一貫した向上を示し、強力な言語一般化能力を示している。
• 楽曲の感情認識および会話における感情予測タスクでも、emotion2vec特徴は優れた性能を達成しており、タスク一般化能力を確認している。
• UMAP可視化により、emotion2vec特徴はWavLMやdata2vecに比べ、クラス内コンパクト性が高く、クラス間マージンが大きいことが示され、より優れたクラス判別性を示している。
• アブレーションスタディにより、1:1の損失重み付けおよびチャンク埋め込みを用いた発話レベル損失が最良の性能をもたらすことが確認され、設計選択の妥当性が裏付けられた。