[論文レビュー] Technical Report for Valence-Arousal Estimation on Affwild2 Dataset

I-Hsuan Li|arXiv (Cornell University)|May 4, 2021

Emotion and Mood Recognition参考文献 10被引用数 5

ひとこと要約

本稿では、MIMAMO Netアーキテクチャを用いてAff-Wild2データセット上で価値・覚醒度推定を行う手法を提案する。空間的・時間的特徴とGRUベースの特徴融合を活用し、微小運動および大規模な動きをモデル化する。再選択された検証セットにおいて、価値度のCCCは0.415、覚醒度のCCCは0.511を達成し、顔面の動きと強い相関関係を示すため、覚醒度推定においてより優れた性能を示している。

ABSTRACT

In this work, we describe our method for tackling the valence-arousal estimation challenge from ABAW FG-2020 Competition. The competition organizers provide an in-the-wild Aff-Wild2 dataset for participants to analyze affective behavior in real-life settings. We use MIMAMO Net \cite{deng2020mimamo} model to achieve information about micro-motion and macro-motion for improving video emotion recognition and achieve Concordance Correlation Coefficient (CCC) of 0.415 and 0.511 for valence and arousal on the reselected validation set.

研究の動機と目的

• 制御のない、リアルな動画環境における価値・覚醒度推定の課題に取り組む。
• 顔の表情における微小運動および大規模な動きをモデル化することで、感情認識の性能を向上させる。
• MIMAMO Netアーキテクチャが大規模なAff-Wild2データセット上で、次元的感情回帰にどのように有効であるかを評価する。
• リアルな動画データにおける価値度と覚醒度推定の間の性能格差を調査する。

提案手法

• 空間的および時間的特徴を別々に処理する二系統のCNN-RNNモデルであるMIMAMO Netアーキテクチャを採用する。
• 空間系では、事前学習済みのResNet50を用いて個々のフレームからの空間的特徴を抽出する。
• 時間系では、時間経過に伴う位相差画像を生成し、時間的ダイナミクスを捉える。
• GRUネットワークを用いて空間的および時間的特徴を統合し、長距離依存性をモデル化し、フレーム単位の予測を向上させる。
• データバランス化技術を適用したが、回帰タスクでは効果がなかったため、交差検証のため、訓練集合と検証集合を統合した。
• フレーム補完戦略を実装：初期フレームが欠落している場合は-5を割り当て、それ以外の欠落フレームには直前の予測値を伝搬する。

実験結果

リサーチクエスチョン

• RQ1 MIMAMO Netアーキテクチャは、制御のないリアルな動画データにおいて、連続的な価値度および覚醒度を効果的に推定できるか？
• RQ2 微小運動および大規模な動きの両方をモデル化することで、次元的感情認識の性能がどのように向上するか？
• RQ3 リアルな動画環境において、なぜ覚醒度推定が価値度推定よりも正確であるのか？
• RQ4 データバランス化技術は、Aff-Wild2データセットにおける回帰性能をどの程度向上させるか？

主な発見

• 再選択された検証セットにおいて、価値度推定のCCCは0.415を達成した。
• 覚醒度推定のCCCは0.511に達し、価値度推定を上回った。
• 覚醒度推定の性能が高いため、顔面の動きと強い相関関係にあるためである。
• データバランス化技術は回帰タスクにおいて効果がなく、最終モデルでは適用しなかった。
• フレーム補完戦略は欠損データを効果的に処理でき、初期フレームの欠落には-5を、以降の欠落フレームには直前の予測値を用いた。