[論文レビュー] Contrastive Unsupervised Learning for Speech Emotion Recognition

Mao Li, Bo Yang+7 more|arXiv (Cornell University)|Feb 12, 2021

Emotion and Mood Recognition参考文献 21被引用数 6

ひとこと要約

本稿では、大規模なラベル付きデータセットに依存せずに、音声感情認識（SER）の性能を向上させるために、対照的非教師あり表現学習である対照的予測符号化（CPC）を提案する。ラベルなし音声データで事前学習することで、モデルは強固で感情に関連する特徴を学習し、IEMOCAPおよびMSP-Podcastの両ベンチマークで顕著な性能向上を達成した。感情の原初的特徴（活性化、感情の傾き、支配感）すべてにおいて、最先端のCCCスコアを達成した。

ABSTRACT

Speech emotion recognition (SER) is a key technology to enable more natural human-machine communication. However, SER has long suffered from a lack of public large-scale labeled datasets. To circumvent this problem, we investigate how unsupervised representation learning on unlabeled datasets can benefit SER. We show that the contrastive predictive coding (CPC) method can learn salient representations from unlabeled datasets, which improves emotion recognition performance. In our experiments, this method achieved state-of-the-art concordance correlation coefficient (CCC) performance for all emotion primitives (activation, valence, and dominance) on IEMOCAP. Additionally, on the MSP- Podcast dataset, our method obtained considerable performance improvements compared to baselines.

研究の動機と目的

• 深層学習アプローチの主な障壁である、音声感情認識（SER）における大規模ラベル付きデータセットの不足に対処すること。
• 大量のラベルなし音声データを用いた非教師あり事前学習が、SERの性能向上に寄与するかどうかを調査すること。
• 対照的予測符号化（CPC）が、音声内の感情関連表現を学習するための事前学習手法として有効であるかを評価すること。
• 明示的な感情の監視なしに、非教師あり表現が、判別性のある感情パターンを捉えられることを示すこと。
• CPCによる事前学習、LibriSpeechでのCPC、共同学習、小規模事前学習といった異なる事前学習戦略を比較し、一般化性能と頑健性を評価すること。

提案手法

• 大規模なラベルなし音声データセットから、非線形エンコーダーを用いて生波形を潜在表現にマップすることで、対照的予測符号化（CPC）を適用し、音声表現を学習する。
• 過去の潜在状態から文脈表現を生成する一方向GRUを自己回帰モデルとして用い、将来の表現を予測する。
• 情報NCE損失を用いて、正例が真の将来表現で、負例が他の系列からランダムに抽出されたものである、対照的N値分類問題として学習目的を定式化する。
• LibriSpeechの10秒の発話からなるデータセットを用い、1つの文脈に対して50個の負例を用い、12ステップ先の表現を予測する形でCPCモデルを学習する。
• SERタスクに適応させるために、ドロップアウトと重み減衰正則化を施した2層の全結合ネットワークと8ヘッド自己注意層を用いて、事前学習済みCPCエンコーダーを微調整する。
• IEMOCAPおよびMSP-Podcastで5-fold交差検証を用いて、下流のSERタスクにおける学習済み表現の性能を評価する。

Fig. 1 : Visualization of the learned representations

実験結果

リサーチクエスチョン

• RQ1 CPCによる対照的非教師あり表現学習は、感情ラベル付きデータを一切使用せずに、標準ベンチマークにおける音声感情認識性能を向上させることができるか？
• RQ2 CPCベースの事前学習は、特徴量の手作業抽出（Sup）や共同学習（jointCPC）と比較して、感情原初的特徴の一般化性能と性能にどのように差をつけるか？
• RQ3 明示的な感情監視なしに、事前学習済みCPCモデルの埋め込み空間に、感情クラスタがどの程度自然に出現するか？
• RQ4 多様で大規模な音声データ（例：LibriSpeech）で事前学習することで、より小さいまたはタスク特化型のデータで事前学習する場合と比較して、SER性能が向上するか？
• RQ5 事前学習戦略の選択（例：preCPC対比 miniCPC 対比 jointCPC）が、異なる感情次元にわたる一般化能力にどのように影響するか？

主な発見

• preCPC手法は、IEMOCAPで最先端の一致相関係数（CCC）を達成し、平均CCCが0.731 ± 0.003を記録。手作業特徴量（Sup）や共同学習（jointCPC）を含むすべてのベースラインを上回った。
• IEMOCAPでは、活性化（0.752 ± 0.014）、感情の傾き（0.752 ± 0.009）、支配感（0.691 ± 0.009）の各次元でCCCスコアを達成し、特に挑戦的な感情の傾き次元でも強力な性能を示した。
• MSP-Podcastデータセットでは、平均CCCが0.571 ± 0.004を記録し、最良のベースライン（miniCPC）を0.022上回った。特に感情の傾き（0.377 ± 0.008）と支配感（0.639 ± 0.012）で顕著な向上が見られた。
• 小規模データセットで事前学習したminiCPCバージョンですら、jointCPCを上回った。これは、非教師あり事前学習が感情認識において、共同最適化よりも一般化性能に優れている可能性を示唆している。
• 学習済み表現の可視化により、埋め込み空間に明確な感情カテゴリクラスタ（例：悲しみと怒り）が形成されていることが確認され、明示的監視なしに感情関連構造が自然に出現することを裏付けた。
• preCPCモデルは、jointCPC手法を著しく上回った。これは、表現学習と感情予測を分離することで、より質の高い特徴と一般化性能が得られることを示している。