[論文レビュー] A cross-modal fusion network based on self-attention and residual structure for multimodal emotion recognition

Ziwang Fu, Feng Liu+5 more|arXiv (Cornell University)|Nov 3, 2021

Emotion and Mood Recognition参考文献 25被引用数 28

ひとこと要約

CFN-SR は自己注意と残差設計を用いたクロスモーダル融合ネットワークを提案し、音声と映像特徴を統合、RAVDESS で 75.76% の精度を達成、パラメータは 26.30M。

ABSTRACT

The audio-video based multimodal emotion recognition has attracted a lot of attention due to its robust performance. Most of the existing methods focus on proposing different cross-modal fusion strategies. However, these strategies introduce redundancy in the features of different modalities without fully considering the complementary properties between modal information, and these approaches do not guarantee the non-loss of original semantic information during intra- and inter-modal interactions. In this paper, we propose a novel cross-modal fusion network based on self-attention and residual structure (CFN-SR) for multimodal emotion recognition. Firstly, we perform representation learning for audio and video modalities to obtain the semantic features of the two modalities by efficient ResNeXt and 1D CNN, respectively. Secondly, we feed the features of the two modalities into the cross-modal blocks separately to ensure efficient complementarity and completeness of information through the self-attention mechanism and residual structure. Finally, we obtain the output of emotions by splicing the obtained fused representation with the original representation. To verify the effectiveness of the proposed method, we conduct experiments on the RAVDESS dataset. The experimental results show that the proposed CFN-SR achieves the state-of-the-art and obtains 75.76% accuracy with 26.30M parameters. Our code is available at https://github.com/skeletonNN/CFN-SR.

研究の動機と目的

• 音声と映像データからの堅牢な多モーダル感情認識を動機付ける。
• intra-および inter-モーダル相互作用中に元の意味情報を保持する融合フレームワークを開発する。
• 音声特徴選択のための自己注意と映像意味情報を保持する残差経路を活用する。
• クロスモーダルブロックを通じてモダリティ間の補完性を効率的に確保する。

提案手法

• 3D ResNeXt50 を用いて時空間表現を抽出する。
• MFCC に対してシンプルな 1D CNN で音声特徴を抽出する。
• 音声は intra-モーダル自己注意を経て映像との inter-モーダル相互作用を行うクロスモーダルブロックを適用する。
• tan h ベースの inter-モーダルマッピングと softmax を誘導する融合を介してモダリティを融合し、残差構造により映像の一貫性を保持する。
• 融合表現を元の特徴と連結し、クロスエントロピー損失で分類する。

実験結果

リサーチクエスチョン

• RQ1 クロスモーダルブロックは音声と映像特徴の感情認識において、どのように効率的で包括的な相互作用を可能にするか？
• RQ2 音声特徴選択のための自己注意と映像特徴の残差経路を組み込むことで、認識精度と情報の完全性は改善されるか？
• RQ3 このアーキテクチャにおける融合方向（V→A vs A→V）の影響はどの程度か？
• RQ4 CFN-SR は標準的な多モーダル感情データセットにおける従来の融合手法と比較してどうか？

主な発見

• RAVDESS で 75.76% の精度を達成し、26.30M パラメータで最先端の性能を達成。
• クロスモーダルブロックはパラメータのわずかな増加（約 0.4M）で精度を 2% 以上向上。
• 自己注意駆動の音声特徴選択は性能に大きく寄与し、冗長性を削減。
• 残差構造は inter-モーダル相互作用中の映像モダリティ情報の保持に役立ち、ロバスト性を向上。
• A→V 融合はこの設定で V→A より良い性能を示し、音声特徴選択による inter-モーダル相互作用の有効性を示唆。