[論文レビュー] Multi-modal Emotion Estimation for in-the-wild Videos

Liyu Meng, Yuchen Liu+6 more|arXiv (Cornell University)|Mar 24, 2022

Emotion and Mood Recognition被引用数 13

ひとこと要約

本論文は、視覚的および音声的特徴を時間的エンコーダー（LSTMおよびTransformer）と後処理スムージングを用いて統合する、マルチモーダル深層学習アプローチを提示し、野生環境下の動画における感情の価値と覚醒度推定を実現する。本手法は、Aff-Wild2検証セットにおいて、価値に対して65.55%のCCC、覚醒度に対して70.88%のCCCを達成し、現実世界の感情認識におけるマルチモーダル統合とモデルアンサンブルの有効性を示している。

ABSTRACT

In this paper, we briefly introduce our submission to the Valence-Arousal Estimation Challenge of the 3rd Affective Behavior Analysis in-the-wild (ABAW) competition. Our method utilizes the multi-modal information, i.e., the visual and audio information, and employs a temporal encoder to model the temporal context in the videos. Besides, a smooth processor is applied to get more reasonable predictions, and a model ensemble strategy is used to improve the performance of our proposed method. The experiment results show that our method achieves 65.55% ccc for valence and 70.88% ccc for arousal on the validation set of the Aff-Wild2 dataset, which prove the effectiveness of our proposed method.

研究の動機と目的

• 感情表現が微細で多様な、制約のない現実世界の動画環境における価値および覚醒度推定の向上を目的とする。
• 単一モーダル手法の限界を補うために、視覚的および音声的モーダルを統合し、補完的な感情的兆候を捉える。
• 再帰的および自己注意メカニズムを用いて、動画シーケンス内の時間的ダイナミクスをモデル化し、より良い逐次的感情予測を実現する。
• 後処理スムージングおよびモデルアンサンブル戦略を通じて、予測のロバスト性を向上させる。

提案手法

• 本手法は動画を顔画像フレームに分割し、IResNet100、DenseNet、FAUモデルを用いて視覚的特徴を抽出する。
• 音声的特徴は、ComParE、VGGish、eGeMAPs、wav2vecモデルを用いて抽出し、プロソディックおよびスペクトル的特徴を捉える。
• 視覚的および音声的ストリームからのマルチモーダル特徴を連結し、LSTMまたはTransformerアーキテクチャを用いた時間的エンコーダーに供給し、逐次的文脈をモデル化する。
• 2層の全結合回帰ヘッドが、エンコーディング表現から1フレームごとの価値および覚醒度スコアを予測する。
• 後処理として、価値に対して20フレーム窓、覚醒度に対して50フレーム窓を用いた時間的スムージングを適用し、予測ノイズを低減する。
• モデルアンサンブルは、多様なアーキテクチャ、ハイパーパramータ、および特徴セットを持つ複数のモデルの予測を統合し、一般化性能および性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 制約のない動画における価値および覚醒度推定の向上に、視覚的および音声的特徴のマルチモーダル統合はどの程度有効であるか？
• RQ2 異なる視覚的および音声的特徴抽出器が感情認識性能に与える相対的寄与度は何か？
• RQ3 LSTMおよびTransformerベースの時間的エンコーダーは、動画データ内の時間的感情ダイナミクスをどの程度効果的にモデル化できるか？
• RQ4 後処理スムージングおよびモデルアンサンブルは、予測の安定性および正確性をどの程度向上させるか？
• RQ5 どの特徴およびアーキテクチャの組み合わせが、Aff-Wild2ベンチマークで最高のパフォーマンスを達成するか？

主な発見

• 提案手法は、Aff-Wild2検証セットにおいて、価値に対して65.55%のCCC、覚醒度に対して70.88%のCCCを達成し、優れた性能を示している。
• TRM-v2のTransformerベースのモデルが、覚醒度予測で最高のパフォーマンス（0.7088 CCC）を達成した一方、TRM-v1が特定の特徴組み合わせで価値予測で最高（0.6089 CCC）を記録した。
• モデルアンサンブル戦略により、性能が顕著に向上し、覚醒度では最良の単一モデルのCCC 0.6628 から 0.7088 へ、価値では 0.6113 から 0.6555 へと向上した。
• 価値予測において寄与度が最も高かった音声的特徴は、ComParEおよびwav2vecであった。一方、覚醒度予測において最も影響力が高かったのはVGGishおよびwav2vecであった。
• 価値予測において、DenseNetおよびFAUの視覚的特徴はIResNet100を上回った。FAUとDenseNetの組み合わせは、個々のモデルよりも性能を向上させた。
• 最適化された窓サイズ（価値：20フレーム、覚醒度：50フレーム）を用いた時間的スムージングの適用が、より安定的で現実的な予測曲線の生成に寄与した。