[論文レビュー] Audio-Visual Fusion for Emotion Recognition in the Valence-Arousal Space Using Joint Cross-Attention

R. Gnana Praveen, Éric Granger+1 more|arXiv (Cornell University)|Sep 19, 2022

Emotion and Mood Recognition被引用数 4

ひとこと要約

本論文は、次元的感情認識における音声・視覚融合のための共同クロスアテンション（JCA）メカニズムを提案する。このメカニズムは、統合的および個々のモダリティ特徴間の相関に基づいてアテンション重みを計算することで、モダリティ内およびモダリティ間の関係をモデル化する。本手法は、RECOLAおよびAffWild2で最先端のモデルを上回り、特にノイズが多いまたは音声が欠落している状況下でも、感情の価値と覚醒度の予測において高い耐障害性と性能向上を示している。

ABSTRACT

Automatic emotion recognition (ER) has recently gained lot of interest due to its potential in many real-world applications. In this context, multimodal approaches have been shown to improve performance (over unimodal approaches) by combining diverse and complementary sources of information, providing some robustness to noisy and missing modalities. In this paper, we focus on dimensional ER based on the fusion of facial and vocal modalities extracted from videos, where complementary audio-visual (A-V) relationships are explored to predict an individual's emotional states in valence-arousal space. Most state-of-the-art fusion techniques rely on recurrent networks or conventional attention mechanisms that do not effectively leverage the complementary nature of A-V modalities. To address this problem, we introduce a joint cross-attentional model for A-V fusion that extracts the salient features across A-V modalities, that allows to effectively leverage the inter-modal relationships, while retaining the intra-modal relationships. In particular, it computes the cross-attention weights based on correlation between the joint feature representation and that of the individual modalities. By deploying the joint A-V feature representation into the cross-attention module, it helps to simultaneously leverage both the intra and inter modal relationships, thereby significantly improving the performance of the system over the vanilla cross-attention module. The effectiveness of our proposed approach is validated experimentally on challenging videos from the RECOLA and AffWild2 datasets. Results indicate that our joint cross-attentional A-V fusion model provides a cost-effective solution that can outperform state-of-the-art approaches, even when the modalities are noisy or absent.

研究の動機と目的

• 動画データからの音声および視覚モダリティを効果的に統合することで、価値・覚醒空間における次元的感情認識を向上させること。
• 従来の統合手法が音声・視覚特徴におけるモダリティ内およびモダリティ間の関係を共同でモデル化できないという限界を是正すること。
• 音声がノイズが多いまたは欠落している場合でも高い性能を維持できる、コスト効率が良く、耐障害性のある統合メカニズムを開発すること。
• 多様な感情表現および困難な条件下にある実世界のデータセット上で、提案手法の有効性を検証すること。

提案手法

• 音声（A）および視覚（V）モダリティのための別個のバックボーンを用いて初期特徴を抽出する。
• 統合されたA-V特徴表現と個々のAおよびV特徴との間の相関に基づいて、共同クロスアテンション重みを計算する。
• アテンション機構により、各モダリティが他方のモダリティおよび自モダリティ内の内部表現に注目できるようになり、モダリティ間およびモダリティ内関係を両方保持する。
• 両モダリティからの注目特徴を連結し、全結合層を通過させて価値および覚醒度スコアを予測する。
• モデルはエンドツーエンドで訓練され、音声セグメントが欠落している状況を含むさまざまな条件下で評価される。
• 本アプローチはモジュール型であり、AおよびVモダリティの異なるバックボーンアーキテクチャと互換性があるように設計されている。

Figure 1: The valence-arousal space. Valence denotes the range of emotions from being very sad (negative) to very happy (positive) and arousal reflects the energy or intensity of emotions from very passive to very active.

実験結果

リサーチクエスチョン

• RQ1 モダリティ内およびモダリティ間の関係を共同でモデル化することで、次元的感情認識における音声・視覚統合の性能が向上するか？
• RQ2 統合的および個々のモダリティ特徴間の相関に基づくアテンションは、シンプルなクロスアテンションと比較して、特徴表現をどのように向上させるか？
• RQ3 音声モダリティがノイズが多いまたは欠落している場合、本手法がどれほど高い性能を維持できるか？
• RQ4 感情予測において、時間的変化、顔の遮断、ポーズの変化に対し、モデルはどのように対処するか？
• RQ5 共同クロスアテンション機構は、先行するアテンションベースの統合手法と比較して、より正確で文脈を考慮したアテンションマップを生成するか？

主な発見

• 提案された共同クロスアテンション（JCA）モデルは、RECOLAおよびAffWild2の両データセットで、価値および覚醒度の予測において最先端の手法を上回る性能を発揮した。
• 音声セグメントが欠落している、またはノイズが多い状況下でも、優れた性能を発揮し、モダリティ劣化に対する耐障害性を示した。
• 可視化の結果、JCAは、シンプルなクロスアテンションがしばしば重要な時間的クリップを無視するのとは異なり、関連する顔の表情や声のエネルギー変化に的確に注目していることがわかった。
• 特にポーズの変化や部分的な顔の遮断が生じる状況でも、真の価値および覚醒度の推移をより良く追跡できた。
• 強力な性能を発揮しているものの、ぼやけやポーズの変化がアテンション機構を誤導する場合、覚醒度の予測精度は価値の予測よりもわずかに低かった。
• アテンション機構により、音声および視覚モダリティ間の文脈的関係が的確に捉えられ、より正確で時間的に一貫性のある予測が得られた。

Figure 2: Joint cross-attention model proposed for A-V fusion (in testing mode).