[論文レビュー] MIMAMO Net: Integrating Micro- and Macro-motion for Video Emotion Recognition

Didan Deng, Zhaokang Chen+2 more|arXiv (Cornell University)|Nov 21, 2019

Emotion and Mood Recognition参考文献 33被引用数 14

ひとこと要約

本稿では、時間的入力として光流ではなく位相差を用いることで、顔の微小運動と巨視的運動特徴を統合する二重ストリーム再帰的ネットワーク、MIMAMO Netを提案する。モデルは、OMG-EmotionおよびAff-Wildデータセットにおいて最先端の性能を達成し、覚醒度予測において顕著な向上を示し、照明変化に対してより高い耐性を示す。

ABSTRACT

Spatial-temporal feature learning is of vital importance for video emotion recognition. Previous deep network structures often focused on macro-motion which extends over long time scales, e.g., on the order of seconds. We believe integrating structures capturing information about both micro- and macro-motion will benefit emotion prediction, because human perceive both micro- and macro-expressions. In this paper, we propose to combine micro- and macro-motion features to improve video emotion recognition with a two-stream recurrent network, named MIMAMO (Micro-Macro-Motion) Net. Specifically, smaller and shorter micro-motions are analyzed by a two-stream network, while larger and more sustained macro-motions can be well captured by a subsequent recurrent network. Assigning specific interpretations to the roles of different parts of the network enables us to make choice of parameters based on prior knowledge: choices that turn out to be optimal. One of the important innovations in our model is the use of interframe phase differences rather than optical flow as input to the temporal stream. Compared with the optical flow, phase differences require less computation and are more robust to illumination changes. Our proposed network achieves state of the art performance on two video emotion datasets, the OMG emotion dataset and the Aff-Wild dataset. The most significant gains are for arousal prediction, for which motion information is intuitively more informative. Source code is available at https://github.com/wtomin/MIMAMO-Net.

研究の動機と目的

• 顔の表情における微小運動と巨視的運動を同時にモデル化することで、動画感情認識を向上させること。
• 照明変動に弱く計算コストの高い光流の限界を解消すること。
• 複素可変ピラミッドからの位相差を用いて、より頑健で効率的な運動表現を開発すること。
• しばしば無視されがちな微小運動特徴が、覚醒度予測に顕著に寄与することを示すこと。
• 時間ストリーム入力としての位相差と光流および原始的位相画像の優位性を検証すること。

提案手法

• MIMAMO Netは二重ストリームアーキテクチャを採用：空間ストリームは外観特徴を処理し、時間ストリームは運動特徴を処理する。
• 時間ストリームでは、光流に代えて複素可変ピラミッドからのフレーム間位相差を運動表現として用いる。
• 位相差は、可変ピラミッド変換における連続フレーム間の位相差として計算され、照明不変性と低コストな計算を実現する。
• GRUに基づく再帰的ネットワークが統合された空間的および時間的特徴を処理し、動画シーケンスにおける長期的時間的依存性をモデル化する。
• モデルは動画シーケンス全体をエンドツーエンドで学習し、最終的な感情予測ヘッドの前に特徴統合が行われる。
• 照明変化への耐性は、フレームにランダムなガンマ補正を適用することで評価され、実世界の照明変動を模擬する。

実験結果

リサーチクエスチョン

• RQ1 微小運動と巨視的運動特徴を統合することで、動画感情認識の性能が向上するか？
• RQ2 光流の代わりに位相差を用いることで、感情認識における性能と耐性が向上するか？
• RQ3 微小運動は、価値予測と比較して、覚醒度予測にどのように寄与するか？
• RQ4 提案された運動表現は、光流よりも照明変化に対してより頑健か？
• RQ5 空間ストリームと時間ストリームは、感情認識において補完的な情報を提供するか？

主な発見

• MIMAMO Netは、OMG-EmotionおよびAff-Wildデータセットの両方で最先端の性能を達成し、先行手法を上回る。
• Aff-Wildデータセットでは、空間ストリームと時間ストリームを統合することで、覚醒度予測が26.8%向上する一方で、価値予測は12.8%向上し、運動情報が覚醒度に特に関連していることを裏付ける。
• 時間ストリームへの位相差入力は、光流（Aff-Wildにおける覚醒度のF1スコア：0.580 対 0.578）および原始的位相画像よりも優れた性能を示す。
• 位相差を用いたモデルは、照明変化の下でも安定した性能を維持するが、光流ベースのモデルはガンマ補正のばらつきが増すにつれて著しく性能を低下させる。
• 空間ストリームは時間ストリームよりも感情認識に寄与しているが、両ストリームを統合することで最大の性能向上が得られ、特に覚醒度予測で顕著である。
• 位相差の使用により、光流に比べて計算コストが約10倍削減されるとともに、明るさの変動に対する耐性が向上する。