[論文レビュー] Affect Expression Behaviour Analysis in the Wild using Spatio-Channel Attention and Complementary Context Information

Darshan Gera, S. Balasubramanian|arXiv (Cornell University)|Sep 29, 2020

Emotion and Mood Recognition参考文献 22被引用数 7

ひとこと要約

本論文は、顔の表情認識の分野において、局所的およびグローバル特徴の注目を可能にする空間チャネル注目（SCAN）と、効率的チャネル注目（ECA）を用いた補完的コンテキスト情報（CCI）ブランチを組み合わせた二重ブランチ注目フレームワークを提案する。この手法は、顔のランドマークや音声データに依存せずに、オクルージョンやポーズ変化に対して頑健であることを示し、Aff-Wild2検証セットで全体スコア0.465を達成し、ResNet-50ベースラインを上回った。

ABSTRACT

Facial expression recognition(FER) in the wild is crucial for building reliable human-computer interactive systems. However, current FER systems fail to perform well under various natural and un-controlled conditions. This report presents attention based framework used in our submission to expression recognition track of the Affective Behaviour Analysis in-the-wild (ABAW) 2020 competition. Spatial-channel attention net(SCAN) is used to extract local and global attentive features without seeking any information from landmark detectors. SCAN is complemented by a complementary context information(CCI) branch which uses efficient channel attention(ECA) to enhance the relevance of features. The performance of the model is validated on challenging Aff-Wild2 dataset for categorical expression classification.

研究の動機と目的

• ポーズ変化、オクルージョン、照明の変化といった制御不能な現実世界の条件下での顔の表情認識の課題に対処すること。
• 顔のランドマーク検出や音声モダリティに依存せずに、特徴の識別能を向上させる深層学習フレームワークの開発。
• カテゴリカルな表情分類のための、極めて不均衡で複雑なAff-Wild2データセットにおける性能向上。
• 空間的・チャネル的注目と補完的コンテキスト学習を統合し、野生環境下でのモデルの頑健性と一般化性能を向上させること。

提案手法

• 空間チャネル注目ネットワーク（SCAN）を採用し、可学習な非線形変換を用いてチャネルごとおよび空間的位置ごとに注目重みを計算する：$ W = \sigma(\text{BN}(\text{PReLU}(\text{Conv}(I)))) $、その後、入力特徴マップ $ I $ との要素ごとの乗算により注目出力 $ O = I \odot W $ を生成する。
• SCANを二重パスの形で適用：特徴マップから重複のない25個の局所パッチと、全体マップを処理し、それぞれグローバル平均プーリングと最大プーリングを用いて512次元のベクトルを出力する。
• 補完的コンテキスト情報（CCI）ブランチを実装し、事前学習済みResNet-50の中間層から特徴を抽出し、ECAを用いてチャネルごとの注目を適用して識別的なチャネルを強調する。
• ECA処理済みの特徴マップを4つの重複のないブロックに分割し、それぞれにグローバル平均プーリングを適用して4つのコンテキストベクトルを生成し、それらを連結して最終的なCCI出力を得る。
• 224×224のRGB画像入力を用いて、End-to-Endでモデルを学習する。特徴マップは、ResNet-50のConv_3xブロックからの出力をSCANおよびCCIブランチの入力とする。
• VGGFace2、AffectNet、ExpW、RAF-DBを用いた転移学習による事前学習を実施し、訓練データのクラス不均衡に対処するためにオーバーサンプリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 空間的・チャネル的注目と補完的コンテキスト学習を組み合わせた二重ブランチ注目メカニズムは、制御不能な現実世界環境下での顔の表情認識性能を向上させることができるか？
• RQ2 提案手法は、顔のランドマークや音声の手がかりに依存することをどれほど減らしつつ、Aff-Wild2データセットで高い正確性を維持できるか？
• RQ3 CCIブランチにECAを統合することで、SCAN単体に比べて特徴の識別能がどのように向上するか？
• RQ4 大規模な顔認識データセットでの事前学習とデータ量の影響は、Aff-Wild2におけるモデルの一般化性能と性能にどのような影響を与えるか？
• RQ5 Grad-CAMによる可視化により、オクルージョンや極端なポーズ変化下でも、モデルが顔の顕著な領域（目、口、鼻など）に的確に注目しているか？

主な発見

• 提案手法は、Aff-Wild2検証セットで全体スコア0.465を達成し、ResNet-50ベースライン（0.422）を顕著に上回り、優れた頑健性と正確性を示した。
• Aff-Wild2から50,000件のサンプルを用い、AffectNetとExpWのデータを併用した場合でも、全データで学習した場合と同等の性能を達成した。これは、優れたデータ効率性を示している。
• VGGFace2で事前学習したモデルが最も優れた性能（F1: 0.37、正確度: 0.649、全体: 0.465）を示し、AffectNet、RAF-DB、ExpW単体での事前学習より優れていた。
• 検証セットではF1スコア0.37、正確度0.649を達成し、ResNet-50ベースラインに比べてF1スコアで10.4％の相対的改善を示した。
• Grad-CAMの可視化により、オクルージョンや極端なポーズ変化下でも、モデルが目、口、鼻などの重要な顔領域に的確に注目していることが確認された。
• アブレーションスタディの結果、ECA注目を備えたCCIブランチはSCAN単体よりも顕著に性能向上を示し、高精度を達成するには事前学習が不可欠であることがわかった。