[論文レビュー] Multi-Modal Emotion Recognition by Text, Speech and Video Using Pretrained Transformers

Minoo Shayaninasab, Bagher BabaAli|arXiv (Cornell University)|Feb 11, 2024

Emotion and Mood RecognitionPsychology被引用数 3

ひとこと要約

本論文では、テキスト、音声、ビデオモダリティ用の事前学習済みトランスフォーマー モデルを用いたマルチモーダル感情認識フレームワークを提案する。特徴レベルの連結とSVM分類を採用している。IEMOCAPデータセットにおいて、最良のモデルは75.42%の正確性を達成し、ハイブリッド統合戦略を用いたファインチューニング済みマルチモーダルトランスフォーマーの有効性が示された。

ABSTRACT

Due to the complex nature of human emotions and the diversity of emotion representation methods in humans, emotion recognition is a challenging field. In this research, three input modalities, namely text, audio (speech), and video, are employed to generate multimodal feature vectors. For generating features for each of these modalities, pre-trained Transformer models with fine-tuning are utilized. In each modality, a Transformer model is used with transfer learning to extract feature and emotional structure. These features are then fused together, and emotion recognition is performed using a classifier. To select an appropriate fusion method and classifier, various feature-level and decision-level fusion techniques have been experimented with, and ultimately, the best model, which combines feature-level fusion by concatenating feature vectors and classification using a Support Vector Machine on the IEMOCAP multimodal dataset, achieves an accuracy of 75.42%. Keywords: Multimodal Emotion Recognition, IEMOCAP, Self-Supervised Learning, Transfer Learning, Transformer.

研究の動機と目的

• 複数のモダリティにまたがる複雑で多様な人間の感情を認識する課題に対処すること。
• テキスト、音声、ビデオモダリティにおける強固な特徴抽出を実現するため、ファインチューニングを施した事前学習済みトランスフォーマー モデルを活用すること。
• マルチモーダル感情認識におけるさまざまな特徴レベル統合および意思決定レベル統合手法の評価と比較すること。
• マルチモーダルデータにおける認識正確性を最大化する最適な統合戦略と分類器の組み合わせを特定すること。

提案手法

• テキスト、音声（スピーチ）、ビデオデータに対して、それぞれ独立した事前学習済みトランスフォーマー モデルをファインチューニングし、モダリティ固有の特徴を抽出する。
• 自己教師あり事前学習を実施し、その後ファインチューニングすることで、各モダリティ内の感情構造を捉える。
• すべての3つのモダリティからの抽出された特徴ベクトルを、特徴レベルで連結して統合する。
• 統合されたマルチモーダル特徴に対して、サポートベクターマシン（SVM）分類器を訓練し、感情予測を実行する。
• 早期統合と後期統合を含む、複数の統合戦略を体系的に比較し、最適な構成を特定する。
• IEMOCAPマルチモーダル感情データセット上でモデルを評価する。これは、マルチモーダル感情認識の標準ベンチマークである。

実験結果

リサーチクエスチョン

• RQ1 特徴レベル統合と意思決定レベル統合のどちらの統合戦略が、マルチモーダル感情認識において最も高い正確性を達成するか？
• RQ2 ファインチューニングを施した事前学習済みトランスフォーマー モデルは、テキスト、音声、ビデオからの感情関連特徴抽出にどの程度効果的か？
• RQ3 IEMOCAPデータセットにおけるマルチモーダル感情認識の最適な特徴統合手法と分類器の組み合わせは何か？
• RQ4 個々のモダリティにおける自己教師あり事前学習は、下流の感情認識性能を向上させるか？

主な発見

• モダリティ固有の埋め込みを連結する特徴レベル統合戦略が、最高のパフォーマンスを達成した。
• ファインチューニング済み事前学習済みトランスフォーマーとSVM分類器の組み合わせが、IEMOCAPデータセットで最も優れた結果をもたらした。
• 提案されたモデルは、テスト正確性75.42%を達成し、比較された他の統合および分類構成を上回った。
• 事前学習済みトランスフォーマーのファインチューニングは、すべてのモダリティにおいて感情認識のための特徴表現を顕著に向上させた。
• 本研究は、初期連結によるマルチモーダル統合と、SVMのような強力な分類器の組み合わせが、感情認識において有効であることを確認した。