[論文レビュー] A vector quantized masked autoencoder for audiovisual speech emotion recognition

Samir Sadok, Simon Leglaive+1 more|arXiv (Cornell University)|May 5, 2023

Speech and Audio Processing被引用数 5

ひとこと要約

本論文では、事前学習済みのベクトル量子化変分オートエンコーダー（VQ-VAE）から得られる離散的表現を音声および映像に適用し、その後にマスクされた時空間的およびスペクトログラム時系列的トークンを再構築するためのマスクオートエンコーダー（MAE）を用いる自己教師あり音声映像感情認識モデル、VQ-MAE-AVを提案する。VoxCeleb2で事前学習し、標準的なSERデータセットで微調整した結果、最先端の教師あり手法を上回る性能を示し、マルチモーダルな再構築と共同表現学習によって性能が向上することが明らかになった。

ABSTRACT

An important challenge in emotion recognition is to develop methods that can leverage unlabeled training data. In this paper, we propose the VQ-MAE-AV model, a self-supervised multimodal model that leverages masked autoencoders to learn representations of audiovisual speech without labels. The model includes vector quantized variational autoencoders that compress raw audio and visual speech data into discrete tokens. The audiovisual speech tokens are used to train a multimodal masked autoencoder that consists of an encoder-decoder architecture with attention mechanisms. The model is designed to extract both local (i.e., at the frame level) and global (i.e., at the sequence level) representations of audiovisual speech. During self-supervised pre-training, the VQ-MAE-AV model is trained on a large-scale unlabeled dataset of audiovisual speech, for the task of reconstructing randomly masked audiovisual speech tokens and with a contrastive learning strategy. During this pre-training, the encoder learns to extract a representation of audiovisual speech that can be subsequently leveraged for emotion recognition. During the supervised fine-tuning stage, a small classification model is trained on top of the VQ-MAE-AV encoder for an emotion recognition task. The proposed approach achieves state-of-the-art emotion recognition results across several datasets in both controlled and in-the-wild conditions.

研究の動機と目的

• 音声映像感情認識（SER）におけるラベル付きデータの不足という課題に対処するため、自己教師あり事前学習を活用すること。
• 事前学習済みのVQ-VAEから得られる離散的音声および映像トークンを統合することで、マルチモーダル表現学習を向上させること。
• マスクされた時空間的およびスペクトログラム時系列的トークンを再構築することを目的とした、音声映像シーケンスに特化したマスクオートエンコーダー枠組みを構築すること。
• マルチモーダル再構築の有効性が、下流のSER性能を向上させるかどうかを評価すること。
• トークン化パラメータ（h, w, d）がモデル性能に与える影響を調査すること。

提案手法

• モデルは、生の音声および映像入力から離散的表現を抽出するために、2つの事前学習済みVQ-VAEを用いる。
• 音声および映像表現は、重複のない時空間的（映像）およびスペクトログラム時系列的（音声）トークンに分割される。
• マスクオートエンコーダー構造が適用され、全トークンの75％がマスクされ、可視トークンのみを用いてそれらを再構築する。
• エンコーダーは可視トークンを処理し、潜在表現を生成する。一方、軽量なデコーダーがマスクされたトークンを再構築する。
• モデルは、離散的トークンにおける再構築損失を用いてVoxCeleb2データセットで事前学習され、その後、感情を含む音声映像SERデータセットで微調整される。
• 時間軸に沿った立方体マスク戦略が用いられ、高いマスク率（最大90％）を採用することで、頑健な表現学習を促進する。

実験結果

リサーチクエスチョン

• RQ1 VQ-VAEから得られる離散的音声および映像表現は、音声映像SERにおけるマルチモーダル自己教師あり学習を向上させることができるか？
• RQ2 VQ-MAE-AVモデルは、標準的な音声映像SERベンチマークにおいて、最先端の教師あり手法と比較してどの程度の性能を示すか？
• RQ3 異なるトークン化パラメータ（h, w, d）が、モデルの感情認識精度に与える影響は何か？
• RQ4 モデルは、クロスモーダル情報に基づいて、マスクされた音声または映像コンテンツをどの程度再構築できるか？
• RQ5 共同マルチモーダル再構築は、単一モーダル再構築よりも、下流のSER性能を向上させるか？

主な発見

• VoxCeleb2で事前学習し、標準データセットで微調整したVQ-MAE-AVモデルは、最先端の教師あり音声映像SER手法を上回る性能を示した。
• 90％のマスク率において、VQ-MAE-AVは、単一モーダルモデルと比較して、視覚的再構築で3.68 dBのPSNR向上、音声的再構築で2.87 dBのSDR向上を達成した。
• 音声が完全にマスクされた状態（100％マスク）でも、モデルは視覚的な唇の動きに依存して、音声の音素および発話構造を成功裏に再構築できた。
• 最適なトークン化パラメータは、音声および映像両モalityで h = w = 4 および d = 4 であると判明し、性能と計算コストのバランスが取れていた。
• マルチモーダル再構築が表現品質を顕著に向上させることを示しており、優れた再構築性能と下流のSER精度の両方で裏付けられた。
• アブレーションスタディにより、高マスク率においても、共同マルチモーダル学習が単一モーダルの対応よりも性能を向上させることを確認した。