[論文レビュー] MERANet: Facial Micro-Expression Recognition using 3D Residual Attention Network.

G.V. Subba Reddy, Sai Reddy+2 more|arXiv (Cornell University)|Dec 7, 2020

Emotion and Mood Recognition参考文献 42被引用数 4

ひとこと要約

MERANet は、空間的・時間的およびチャネル注意力メカニズムを統合することで、微細な空間時間的特徴を捉える3次元残差注意力ネットワークであり、ベンチマークマイクロエクスプレッションデータセットで最先端の性能を達成している。3次元カーネル、残差接続、二重注意力再キャリブレーションを活用することで実現されている。

ABSTRACT

We propose a facial micro-expression recognition model using 3D residual attention network called MERANet. The proposed model takes advantage of spatial-temporal attention and channel attention together, to learn deeper fine-grained subtle features for classification of emotions. The proposed model also encompasses both spatial and temporal information simultaneously using the 3D kernels and residual connections. Moreover, the channel features and spatio-temporal features are re-calibrated using the channel and spatio-temporal attentions, respectively in each residual module. The experiments are conducted on benchmark facial micro-expression datasets. A superior performance is observed as compared to the state-of-the-art for facial micro-expression recognition.

研究の動機と目的

• 最小限の視覚的変化のため検出が困難な、微細で一時的な顔のマイクロエクスプレッションを認識する課題に対処すること。
• マイクロエクスプレッションシーケンスにおける空間的、時間的、チャネルワイドな依存関係を同時にモデル化することで、特徴表現を向上させること。
• 空間的・時間的およびチャネルレベルでの特徴再キャリブレーションを実行する注意力メカニズムを用いて、分類性能を向上させること。
• 3次元畳み込みと残差学習を用いて、顔のマイクロエクスプレッションの微細なダイナミクスを効果的に捉える深層学習アーキテクチャを開発すること。

提案手法

• モデルは、マイクロエクスプレッションの動画シーケンスから空間的および時間的特徴を同時に抽出するために3次元畳み込みカーネルを採用する。
• 訓練の安定化とより深いネットワークアーキテクチャによる特徴学習の向上のため、残差接続が用いられる。
• 各残差ブロック内で空間的・時間的注意力が適用され、重要度に基づいて空間的・時間的特徴が再キャリブレーションされる。
• チャネルワイドな特徴マップの再キャリブレーションを統合し、分類に有用な特徴を強調する。
• 二重注意力メカニズム（空間的・時間的およびチャネル）が各残差モジュールに適用され、特徴が段階的に精錬される。
• 標準的な分類損失関数を用いて、ベンチマークマイクロエクスプレッションデータセット上でエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 空間的・時間的およびチャネル注意力を統合した3次元残差ネットワークは、微細な顔のマイクロエクスプレッションの認識を向上させることができるか？
• RQ2 空間的・時間的およびチャネル注意力メカニズムは、マイクロエクスプレッション認識における特徴表現をどの程度効果的に向上させるか？
• RQ3 3次元畳み込みと残差学習の統合は、ベンチマークマイクロエクスプレッションデータセットでより良い性能をもたらすか？
• RQ4 注意力に基づく特徴再キャリブレーションは、ノイズをどの程度低減させ、特徴的な顔の運動パターンを強調するか？

主な発見

• MERANet は、ベンチマーク顔マイクロエクスプレッションデータセットにおいて、最先端の手法と比較して優れた性能を達成した。
• 空間的・時間的およびチャネル注意力メカニズムの統合により、マイクロエクスプレッション分類における特徴の識別能が顕著に向上した。
• 3次元畳み込みは、マイクロエクスプレッションシーケンスにおける空間的および時間的ダイナミクスを効果的に捉えており、モデルの感度を向上させた。
• 残差接続は、安定した訓練とより深い特徴学習に寄与し、精度の向上に貢献した。
• 二重注意力メカニズムにより、モデルは関連のある顔領域および運動パターンに注目でき、不要な変動の影響を低減した。