[論文レビュー] MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal Emotion Recognition

Jinming Zhao, Ruichen Li+3 more|arXiv (Cornell University)|Oct 27, 2021

Emotion and Mood Recognition被引用数 6

ひとこと要約

本稿では、大規模なラベルなし動画データを用いた自己教師あり学習により、感情認識のためのテキスト・視覚・音声の統合表現を学習する、マルチモーダル事前学習モデルMEmoBERTを提案する。感情分類をマスクされた予測タスクに再定式化するプロンプトベースのファインチューニング手法を導入しており、従来のファインチューニングに比べて性能が著しく向上し、特にリソースが限られた条件下でも顕著な向上を示し、IEMOCAPおよびMSP-IMPROVで最先端の結果を達成している。

ABSTRACT

Multimodal emotion recognition study is hindered by the lack of labelled corpora in terms of scale and diversity, due to the high annotation cost and label ambiguity. In this paper, we propose a pre-training model extbf{MEmoBERT} for multimodal emotion recognition, which learns multimodal joint representations through self-supervised learning from large-scale unlabeled video data that come in sheer volume. Furthermore, unlike the conventional "pre-train, finetune" paradigm, we propose a prompt-based method that reformulates the downstream emotion classification task as a masked text prediction one, bringing the downstream task closer to the pre-training. Extensive experiments on two benchmark datasets, IEMOCAP and MSP-IMPROV, show that our proposed MEmoBERT significantly enhances emotion recognition performance.

研究の動機と目的

• 高額なラベル付けコストとラベルの曖昧さのため、大規模で多様性に富み、高品質なラベル付きマルチモーダル感情データセットが不足している問題に対処すること。
• テキスト・視覚・音声の各モダリティにわたる大量のラベルなし動画データから統合表現を学ぶマルチモーダル事前学習フレームワークの開発。
• 事前学習済み表現をプロンプトベースの学習によりファインチューニングすることで、下流のマルチモーダル感情認識を向上させること。これにより、事前学習とファインチューニングの目的がより整合される。
• リソースが限られた状況下でも、プロンプトベースの学習がマルチモーダル感情認識に有効であることを実証すること。

提案手法

• MEmoBERTは、テキスト用にBERT、視覚用に事前学習済み顔認識モデル、音声用に事前学習済み音声モデルを用いた、モダリティ固有のエンコーダーを採用し、各モダリティからの生の特徴量を抽出する。
• 各モダリティの特徴量は、モダリティ固有の埋め込み層を介して処理され、トークン/フレーム特徴量、位置埋め込み、モダリティタイプ埋め込みを組み合わせ、その後、レイヤーナーマライゼーションが適用される。
• モデルは、複数層のクロスモダリティトランスフォーマーを用いて、異なるモダリティ間の相互作用を学習し、統合表現を獲得する。
• 4つの自己教師あり事前学習タスクを採用する：全単語マスク言語モデリング（WWMLM）、スパンマスク視覚フレームモデリング（SpanMVFM）、KLダイバージェンスを用いたスパンマスク視覚フレーム分類（SpanMVFC-KL）、スパンマスク音声フレームモデリング（SpanMAFM）。
• プロンプトベースの学習手法は、感情分類タスクをマスクされたテキスト予測タスクに再定式化することで、ファインチューニング段階で事前学習済み知識をより効果的に活用できるようにする。
• ファインチューニング段階では追加パラメータを導入しない。代わりに、入力テキストの前に学習可能なプロンプトを挿入し、分類をガイドする。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベルなし動画データを用いた自己教師あり事前学習が、マルチモーダル感情認識の性能を顕著に向上させることができるか？
• RQ2 事前学習済みマルチモーダルモデルを感情認識タスクに適応する際、プロンプトベースの学習が従来のファインチューニングを上回る性能を発揮するか？
• RQ3 提案されたMEmoBERTモデルは、ラベル付きデータが限られた低リソース条件下でもどのように一般化するか？
• RQ4 各個々の事前学習タスクがMEmoBERT全体の性能に果たす寄与度は何か？
• RQ5 クロスアテンション機構を用いた統合マルチモーダル表現学習は、モダリティ固有の表現を超えて感情認識を向上させることができるか？

主な発見

• IEMOCAPでは、MEmoBERTが重み付き正解率（WA）80.01%、未加重平均再現率（UAR）81.09%を達成し、先行する最先端モデルを上回った。
• MSP-IMPROVでは、MEmoBERTがWA 72.36%、UAR 72.22%を達成し、先行手法に対して一貫した改善を示した。
• プロンプトベース手法（'Pretrain+Prompt'）は、'BERT+Direct'ベースラインと比較して、IEMOCAPでUAR +2.1%、MSP-IMPROVでUAR +2.5%の向上を示した。
• アブレーションスタディの結果、4つの事前学習タスクすべてが正の寄与を示しており、いずれかのタスクを削除すると性能が低下した。
• 低リソース条件下では、プロンプトベース手法が標準的なファインチューニングを一貫して上回り、訓練データが減るほど大きな向上が観察された。
• 大規模なラベルなし動画データへの事前学習により、モデルの性能が顕著に向上しており、'Pretrain+Finetune'および'Pretrain+Prompt'は、すべての設定で'BERT+Direct'を上回った。