[論文レビュー] Vesper: A Compact and Effective Pretrained Model for Speech Emotion Recognition

Weidong Chen, Xiaofen Xing+2 more|arXiv (Cornell University)|Jul 20, 2023

Emotion and Mood RecognitionPsychology被引用数 3

ひとこと要約

本稿では、感情誘導型マスキングと階層的自己教師学習を組み合わせることで、WavLMを改善したコンパクトで効果的な音声感情認識用事前学習モデルVesperを提案する。4層しか持たないにもかかわらず、IEMOCAP、MELD、CREMA-DデータセットでWavLM Base（12層）を上回り、Vesper-12はWavLM Large（24層）をも凌駕する。モデルサイズを小さくしたにもかかわらず優れた性能を示している。

ABSTRACT

This paper presents a paradigm that adapts general large-scale pretrained models (PTMs) to speech emotion recognition task. Although PTMs shed new light on artificial general intelligence, they are constructed with general tasks in mind, and thus, their efficacy for specific tasks can be further improved. Additionally, employing PTMs in practical applications can be challenging due to their considerable size. Above limitations spawn another research direction, namely, optimizing large-scale PTMs for specific tasks to generate task-specific PTMs that are both compact and effective. In this paper, we focus on the speech emotion recognition task and propose an improved emotion-specific pretrained encoder called Vesper. Vesper is pretrained on a speech dataset based on WavLM and takes into account emotional characteristics. To enhance sensitivity to emotional information, Vesper employs an emotion-guided masking strategy to identify the regions that need masking. Subsequently, Vesper employs hierarchical and cross-layer self-supervision to improve its ability to capture acoustic and semantic representations, both of which are crucial for emotion recognition. Experimental results on the IEMOCAP, MELD, and CREMA-D datasets demonstrate that Vesper with 4 layers outperforms WavLM Base with 12 layers, and the performance of Vesper with 12 layers surpasses that of WavLM Large with 24 layers.

研究の動機と目的

• 一般向け事前学習モデル（PTM）が音声感情認識において過大で、感情的コンテンツに最適化されていないという限界を是正すること。
• モデル圧縮とラベルなし適応を組み合わせることで、タスク特化型のコンパクトで効果的なPTMを開発すること。
• 事前学習段階で新たな感情誘導型マスキング戦略を導入し、感情的サインへの感受性を高めること。
• 階層的およびクロスレイヤー自己教師学習を統合することで、音声的特徴と意味的特徴の両方をよりよく捉える表現学習を向上させること。
• Vesperの最終層表現が感情認識に十分であることを検証し、下流タスクのデプロイメントを簡素化すること。

提案手法

• Vesperは、一般音声表現を活用するため、事前学習済みのWavLM重みで初期化される。
• 感情誘導型マスキング戦略により、高エネルギーの音声領域（感情的コンテンツを含む可能性が高い領域）を特定し、マスキングをこれらの領域に集中させることで感情への感受性を向上させる。
• 浅い層では音声的特徴、深い層では意味的特徴の学習を強化するために、層間で階層的自己教師学習を適用する。
• 異なるネットワーク深さにおける表現の一貫性を促進することで、特徴の精錬を向上させるためにクロスレイヤー自己教師学習を導入する。
• 事前学習段階ではラベル付きデータを必要とせず、標準的な分類ヘッドを用いて下流の音声感情認識タスクで微調整する。
• 層数の削減（例：12または24層ではなく4または12層）によりモデル圧縮を実現し、より小型で効率的なアーキテクチャを達成する。

実験結果

リサーチクエスチョン

• RQ1 タスク特化型でコンパクトな事前学習モデルは、より大きな一般向けモデルを上回ることができるか？
• RQ2 感情誘導型マスキング戦略は、自己教師学習の事前学習段階でモデルの感情的コンテンツへの感受性を向上させることができるか？
• RQ3 階層的およびクロスレイヤー自己教師学習は、感情認識に不可欠な音声的および意味的表現の学習を向上させることができるか？
• RQ4 Vesperの最終層表現は、高性能な感情認識に十分であるか？ これにより、デプロイメントが簡素化可能か？
• RQ5 WavLMの変種と比較して、Vesperは計算コストをどの程度削減しながら、精度を維持または向上させることができるか？

主な発見

• 4層のVesperは、IEMOCAP、MELD、CREMA-Dの3つのデータセットすべてでWavLM Base（12層）を上回る性能を達成する。
• Vesper-12は、すべての評価指標でWavLM Large（24層）を上回り、感情認識に特化して最適化された場合、小型モデルが大型モデルを凌駆する可能性を示している。
• IEMOCAPでは、Vesper-4は全層を用いる場合にWavLM BaseよりF1スコアで6.2%〜6.6%向上し、最終層のみを用いる場合でも1.4%〜1.9%の向上を示す。
• Vesper-12では、最終層表現のみを用いることでSUPERB設定全体と比較して0.2%〜0.4%の性能向上が得られ、最終層表現が極めて情報量が多いことが示された。
• t-SNE可視化により、Vesper-12は4つの感情（喜び、悲しみ、怒り、ニュートラル）の表現が明確にクラスタリングされており、重複は最小限に抑えられている。これに対してWavLMモデルは明確な分離が見られない。
• アブレーションスタディにより、感情誘導型マスキングと階層的／クロスレイヤー自己教師学習の両方が、性能向上に顕著な貢献をしていることが確認された。