[論文レビュー] Facial Motion Prior Networks for Facial Expression Recognition

Yuedong Chen, Jianfeng Wang+3 more|arXiv (Cornell University)|Feb 23, 2019

Emotion and Mood Recognition参考文献 25被引用数 9

ひとこと要約

本稿では、顔の筋肉運動領域を強調するためにドメイン知識（すなわち、ニュートラルな顔と表現のある顔の平均差）によってガイドされるモーションマスク生成器を用いる、顔の表情認識のための新しい深層学習フレームワークである顔の運動プリオンネットワーク（FMPN）を提案する。本手法は、特徴学習に事前知識を効果的に統合することで、CK+、MMI、AffectNetの各データセットで最先端の性能を達成する。

ABSTRACT

Deep learning based facial expression recognition (FER) has received a lot of attention in the past few years. Most of the existing deep learning based FER methods do not consider domain knowledge well, which thereby fail to extract representative features. In this work, we propose a novel FER framework, named Facial Motion Prior Networks (FMPN). Particularly, we introduce an addition branch to generate a facial mask so as to focus on facial muscle moving regions. To guide the facial mask learning, we propose to incorporate prior domain knowledge by using the average differences between neutral faces and the corresponding expressive faces as the training guidance. Extensive experiments on three facial expression benchmark datasets demonstrate the effectiveness of the proposed method, compared with the state-of-the-art approaches.

研究の動機と目的

• 既存の深層学習手法が、顔の表情認識（FER）においてドメイン知識を効果的に統合できないという限界を解消すること。
• 顔のランドマーク、オプティカルフロー、またはAUアノテーションといった補助データに依存することを回避すること。これらのデータはしばしば入手困難または利用不可である。
• GANベースの脱表情手法で要求される、ペアで登録されたニュートラルな顔と表現のある顔の必要性を排除すること。
• 学習されたモーションマスクを用いて顔の筋肉運動領域に注目することで、特徴の判別力を高めるエンドツーエンドで訓練可能なFERフレームワークを構築すること。
• 顔の運動プリオンが、ニュートラルな顔が入手できないような、実環境（in-the-wild）設定を含むさまざまなデータセット間で転送可能であることを示すこと。

提案手法

• 本フレームワークは、顔の運動マスク生成器（FMG）、プリオン統合ネットワーク（PFN）、分類ネットワーク（CN）の3つのコンponentから構成される。
• FMGはグレースケールの表現のある顔を入力とし、顔の筋肉運動領域を強調する空間的マスクを生成する。
• マスク生成は、ニュートラルな顔と対応する表現のある顔の平均差から導かれる疑似正解マスクによってガイドされる。
• PFNは、元の入力画像と生成されたモーションマスクを融合することで、特徴学習プロセスにドメイン固有の知識を統合する。
• CN（例えばVGGやResNet）は、融合された表現から高レベル特徴を抽出し、最終的な表情分類を実行する。
• 全モデルは、マスク生成器のための損失関数（$l_G$）と分類ヘッドのための損失関数（$l_C$）の2つの損失関数を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 顔の筋肉運動に関するドメイン知識を統合することで、顔の表情認識における深層特徴の判別力を向上させることができるか？
• RQ2 ニュートラルな顔と表現のある顔の平均差を、モーションマスク学習の監視信号として用いることで、そのようなガイドなしのエンドツーエンド学習に比べて性能が向上するか？
• RQ3 学習された顔の運動プリオンは、ニュートラルな顔が入手できない実環境（in-the-wild）設定を含むさまざまなデータセット間で転送可能か？
• RQ4 本手法は、画像ベースおよび時系列ベースの最先端のFERアプローチと比較して、精度と頑健性の面で優れているか？
• RQ5 顔の筋肉運動領域に注目することで、CK+、MMI、AffectNetといったベンチマークデータセットにおける認識性能がどの程度向上するか？

主な発見

• 提案されたFMPNは、CK+データセットで98.06%の精度を達成し、GANベースや時系列ベースの手法を含む、すべての先行最先端手法を上回る。
• MMIデータセットでは、FMPNが82.74%の精度を達成し、画像ベース手法に比べて9.51%以上、時系列ベース手法に比べて7.62%以上の顕著な向上を示した。
• 大規模な実環境データセットAffectNetでは、FMPNが61.52%の精度を達成し、制御されたデータセット（例：CK+）から学習した運動プリオンの転送可能性を示した。
• アブレーションスタディの結果、ガイド損失（$l_G$）を削除すると、CK+における性能は98.06%から91.82%に低下し、事前知識に基づくマスク学習の重要性が裏付けられた。
• CK+およびMMIにおける誤分類行列の結果は一貫したパターンを示しており、幸せの感情が最も正確に認識されており、怒りは嫌悪や悲しみと最も混同されやすい。
• 結果から、顔の運動プリオンは一般化可能であり、実環境のような挑戦的な状況でも有効であることが示された。これは、筋肉運動のパターンが多様なデータセット間で共有されていることを示唆している。