[論文レビュー] Self-Supervised Learning for Audio-Based Emotion Recognition

Peranut Nimitsurachat, Peter Washington|arXiv (Cornell University)|Jul 23, 2023

Music and Audio ProcessingComputer Science被引用数 3

ひとこと要約

本稿では、CMU-MOSEIデータセットからの符号化音響特徴（74次元のCOVAREP埋め込み）を用いた音声ベースの感情認識のための自己教師付き学習（SSL）手法を提案する。無ラベルデータを用いたマスクタイムスタンプ予測による事前学習と、少数ラベル付きデータセットでの微調整により、特に「幸せ」「悲しみ」「怒り」のような識別が容易な感情において、感情分類性能が顕著に向上することが示された。これは、ラベル付きデータが限られる状況においてSSLが最も効果的であることを示している。

ABSTRACT

Emotion recognition models using audio input data can enable the development of interactive systems with applications in mental healthcare, marketing, gaming, and social media analysis. While the field of affective computing using audio data is rich, a major barrier to achieve consistently high-performance models is the paucity of available training labels. Self-supervised learning (SSL) is a family of methods which can learn despite a scarcity of supervised labels by predicting properties of the data itself. To understand the utility of self-supervised learning for audio-based emotion recognition, we have applied self-supervised learning pre-training to the classification of emotions from the CMU- MOSEI's acoustic modality. Unlike prior papers that have experimented with raw acoustic data, our technique has been applied to encoded acoustic data. Our model is first pretrained to uncover the randomly-masked timestamps of the acoustic data. The pre-trained model is then fine-tuned using a small sample of annotated data. The performance of the final model is then evaluated via several evaluation metrics against a baseline deep learning model with an identical backbone architecture. We find that self-supervised learning consistently improves the performance of the model across all metrics. This work shows the utility of self-supervised learning for affective computing, demonstrating that self-supervised learning is most useful when the number of training examples is small, and that the effect is most pronounced for emotions which are easier to classify such as happy, sad and anger. This work further demonstrates that self-supervised learning works when applied to embedded feature representations rather than the traditional approach of pre-training on the raw input space.

研究の動機と目的

• 感情認識におけるラベル付きデータの不足という、感情計算分野における主なブottleneckに対処すること。
• 訓練データが限られる状況において、自己教師付き学習（SSL）が性能向上に寄与するかどうかを調査すること。
• 生の音声ではなく、事前に計算された高次元の音響埋め込み（74D COVAREP特徴）を対象として、SSLの有効性を検討すること。
• 異なる感情タイプと varying なラベル数におけるSSLの性能向上を定量的に評価すること。
• 同じアーキテクチャを有する標準ベースラインと比較することで、事前学習の影響を明確に分離すること。

提案手法

• 74次元の特徴系列において、ランダムに選択されたタイムスタンプをマスクし、その復元を学習目標とする。これにより、74次元の特徴系列に対する自己教師付き事前学習を実施する。
• 事前学習および微調整の両タスクにトランスフォーマー基盤アーキテクチャを採用し、ベースラインと同一のアーキテクチャを保証する。
• CMU-MOSEIデータセットの小規模なラベル付きサブセットを用いて、標準的な交差エントロピー損失または回帰損失を用いて、事前学習モデルを微調整する。
• 複数の指標を用いて性能を評価する：全体および各感情の平均絶対誤差（MAE）、4クラス分類精度、および各感情の精度。
• 複数回の実験（各ラベルサイズごとに3回の繰り返し）を実施し、SSLの性能向上の安定性と一般化性能を評価する。
• 同じアーキテクチャを持つ非事前学習ベースラインと比較することで、自己教師付き事前学習の影響を明確に分離する。

Figure 1: Distribution of emotions in CMU-MOSEI

実験結果

リサーチクエスチョン

• RQ1 自己教師付き事前学習を符号化音響特徴に適用することで、標準的な教師ありベースラインと比較して感情認識性能が向上するか？
• RQ2 微調整段階で利用可能なラベル数が増加するにつれて、SSLによる性能向上はどのように変化するか？
• RQ3 SSLの利点は、『識別が容易な』感情（例：幸せ、悲しみ、怒り）と、より繊細な感情（例：驚き、恐怖）のどちらに対して顕著に現れるか？
• RQ4 生の音声波形ではなく、埋め込み表現に適用した場合に、自己教師付き学習が無ラベルデータを効果的に活用できるか？
• RQ5 ラベル付きサンプル数が増加するに従い、事前学習モデルの性能がベースラインモデルにどのように収束するか？

主な発見

• 自己教師付き学習は、全体のMAE、各感情のMAE、4クラス分類精度、および各感情の精度という、あらゆる評価指標において一貫して性能向上を示した。特にラベル付きデータが限られる状況で顕著な向上が見られた。
• SSLによる性能向上は、微調整段階で0〜200件のラベルしか利用できない場合に最も顕著であり、ラベル数が増加するに従いその効果が薄れる傾向にあった。
• 『識別が容易な』感情、特に「幸せ」「悲しみ」「怒り」に対して、モデルは最も顕著な改善を示した。一方、より繊細な感情（例：驚き、恐怖）に対する向上は小さかった。
• 識別が容易な感情の平均絶対誤差（MAE）は、SSL事前学習により著しく低下したが、繊細な感情のMAEは、事前学習なしでも相対的に低く（0.12〜0.16）維持されていたことから、性能の上限に近い状態であると考えられる。
• ラベル付きサンプル数が増加するに従い、事前学習モデルの性能がベースラインモデルに収束する傾向を示しており、これはSSLが低データ環境において特に価値のあるインダクティブバイアスを提供していることを示している。
• 生の音声波形ではなく、符号化音響特徴（74D COVAREP埋め込み）にSSLを適用する手法は有効であり、これは、生の入力空間を超えた特徴レベルでの事前学習が可能であることを示しており、感情計算分野における新たな道筋を示唆している。

Figure 2: An overview of our proposed methodology for pre-training the deep learning model before transferring pre-trained model to the fine-tuning step