[論文レビュー] EXPERTNet Exigent Features Preservative Network for Facial Expression Recognition

Monu Verma, Jaspreet Kaur Bhui+2 more|arXiv (Cornell University)|Apr 14, 2019

Face and Expression Recognition被引用数 6

ひとこと要約

本稿では、顔の感情認識のための新しい畳み込みニューラルネットワークである EXPERTNet を提案する。このネットワークは、空間的および階層的な特徴のうち最も関連性の高いもののみを効果的に保持するための Exigent Feature (ExFeat) ブロックを用いる。選択的レイヤーを用いて複数スケールのフィルタ（1×1、3×3、5×5、7×7）を並列に適用することで、特徴の学習性を向上させつつも空間的構造を維持し、CK+、MMI、DISFA、GEMEP-FERA データセットで最先端の性能を達成した。

ABSTRACT

Facial expressions have essential cues to infer the humans state of mind, that conveys adequate information to understand individuals actual feelings. Thus, automatic facial expression recognition is an interesting and crucial task to interpret the humans cognitive state through the machine. In this paper, we proposed an Exigent Features Preservative Network (EXPERTNet), to describe the features of the facial expressions. The EXPERTNet extracts only pertinent features and neglect others by using exigent feature (ExFeat) block, mainly comprises of elective layer. Specifically, elective layer selects the desired edge variation features from the previous layer outcomes, which are generated by applying different sized filters as 1 x 1, 3 x 3, 5 x 5 and 7 x 7. Different sized filters aid to elicits both micro and high-level features that enhance the learnability of neurons. ExFeat block preserves the spatial structural information of the facial expression, which allows to discriminate between different classes of facial expressions. Visual representation of the proposed method over different facial expressions shows the learning capability of the neurons of different layers. Experimental and comparative analysis results over four comprehensive datasets CK+, MMI DISFA and GEMEP-FERA, ensures the better performance of the proposed network as compared to existing networks.

研究の動機と目的

• 空間的および階層的特徴のうち最も関連性の高いもののみを保持することで、顔の感情認識を向上させること。
• 畳み込みニューラルネットワークにおける不要な特徴ノイズの問題に対処するため、選択的特徴抽出機構を導入すること。
• 多スケール畳み込みフィルタを組み合わせることで、モデルの学習性と識別性能を向上させること。
• 特徴学習中に顔の感情の空間的構造的整合性を維持すること。
• 多様で現実世界の顔の感情データセットにおいて優れた性能を達成すること。

提案手法

• ExFeat ブロックは、並列に複数のフィルタサイズ（1×1、3×3、5×5、7×7）からエッジ変動特徴を動的に選択する選択的レイヤーを用いる。
• 各フィルタサイズは、異なるレベルの特徴抽象化を捉える——小規模フィルタはマイクロ特徴を、大規模フィルタは高レベルのパターンを捉える。
• 選択された特徴は保持され、統合されることで空間的構造の維持と識別力の向上が図られる。
• ネットワークアーキテクチャは、顔の感情認識に最適化された深層畳み込みニューラルネットフレームワークに ExFeat ブロックを統合している。
• 特徴選択は関連性に基づいて行われ、ノイズの低減とモデル効率の向上が図られる。
• 標準的な最適化手法を用いて、複数のベンチマークデータセット上でエンドツーエンドでモデルを学習した。

実験結果

リサーチクエスチョン

• RQ1 関連する特徴にのみ焦点を当てることで、選択的特徴抽出機構が顔の感情認識の精度を向上させられるか。
• RQ2 多スケールフィルタは、微細な特徴と高レベルの顔の感情パターンをどのように捉えているか。
• RQ3 空間的構造の保持が、顔の感情認識における分類性能にどの程度寄与するか。
• RQ4 標準的な畳み込み層と比較して、提案された ExFeat ブロックは特徴の関連性とモデル性能においてどのように異なるか。
• RQ5 本ネットワークは、表情強度や画像品質が異なる多様なデータセットに、十分に一般化できるか。

主な発見

• EXPERTNet は CK+ データセットで最先端の性能を達成し、以前の手法よりも顔の感情認識精度が向上した。
• MMI データセットでは、顔の変化に強く、優れた一般化性能とロバストネスを示した。
• DISFA データセットでは高い精度を達成し、自発的で微細な表情に対しても強力な性能を発揮した。
• GEMEP-FERA データセットでは、低解像度や遮蔽の課題にもかかわらず、高い性能を維持した。
• アブレーションスタディの結果、選択的レイヤーと多スケールフィルタが特徴の関連性とモデル精度を顕著に向上させた。
• 可視化結果から、深層の層では表情クラス固有の識別的特徴を学習していることが示され、モデルの学習能力が裏付けられた。