[論文レビュー] Deep Temporal Appearance-Geometry Network for Facial Expression Recognition

Heechul Jung, Sihaeng Lee+4 more|arXiv (Cornell University)|Mar 5, 2015

Face recognition and analysis参考文献 19被引用数 44

ひとこと要約

本稿では、画像系列から時間的外見特徴を、顔の顔認識点の軌跡から幾何的特徴を別々のCNNおよびDNNブランチを用いて共同で学習する、深層時間的外見・幾何ネットワーク（DTAGN）を提案する。これらの補完的表現を統合することで、CK+およびOulu-CASIAデータセットにおいて最先端の性能を達成し、認識精度が向上するとともに、キーフェイシャルアクションポイントの自動検出が可能になった。

ABSTRACT

Temporal information can provide useful features for recognizing facial expressions. However, to manually design useful features requires a lot of effort. In this paper, to reduce this effort, a deep learning technique which is regarded as a tool to automatically extract useful features from raw data, is adopted. Our deep network is based on two different models. The first deep network extracts temporal geometry features from temporal facial landmark points, while the other deep network extracts temporal appearance features from image sequences . These two models are combined in order to boost the performance of the facial expression recognition. Through several experiments, we showed that the two models cooperate with each other. As a result, we achieved superior performance to other state-of-the-art methods in CK+ and Oulu-CASIA databases. Furthermore, one of the main contributions of this paper is that our deep network catches the facial action points automatically.

研究の動機と目的

• 顔の表情認識のための時間的特徴を手作業で設計する課題に対処すること。これは人的労力が多くかかり、しばしば曖昧である。
• 小規模な顔の表情データベース（例：CK+、Oulu-CASIA、MMI）における過学習を克服するため、軽量で補完的な深層ネットワークを用いること。
• 手作業で特徴を設計しないで、生データから判別性の高い顔のアクションポイントと時間的運動パターンを自動で学習すること。
• 統一されたフレームワーク内で外見ベースと幾何ベースの深層表現を統合することで、認識精度を向上させること。

提案手法

• 本手法は二重ブランチの深層ネットワークを用いる。一方のブランチは3次元畳み込みニューラルネットワーク（DTAN）を用いて画像系列を処理し、空間的・時間的外見特徴を抽出する。
• もう一方のブランチは、顔認識点の時間的軌跡を処理するための深層ニューラルネットワーク（DTGN）を用い、幾何的運動パターンを抽出する。
• 2つのネットワークは、それぞれ画像系列および認識点データに対して独立して訓練され、出力は重み付き和で統合される。
• アーキテクチャにはReLU活性化関数、ドロップアウトによる正則化を用い、入力前処理には局所コントラスト正規化および目座標正規化を適用する。
• モデルは確率的勾配降下法を用いてエンドツーエンドで訓練され、統合重みαのようなハイパーパrameterは手動で調整される。
• 前処理には公開のツールを用いて顔認識点検出および顔の正規化を行い、再現性を確保する。

実験結果

リサーチクエスチョン

• RQ1 生の画像系列および顔認識点データから、意味のある時間的外見特徴と幾何的特徴を自動で抽出できる深層学習モデルは存在するか？
• RQ2 外見ベースと幾何ベースの深層ネットワークは、認識性能の向上においてどのように補い合うか？
• RQ3 手作業による特徴設計なしに、モデルがキーフェイシャルアクションポイントをどの程度正確に検出・学習できるか？
• RQ4 外見と幾何の表現を統合することで、単一モダリティまたは手作業特徴手法と比較して優れた性能が得られるか？

主な発見

• 提案されたDTAGNモデルは、CK+データセットで最高の認識精度を達成し、他のすべての最先端手法を上回った。
• Oulu-CASIAデータセットでは82.5%の精度を達成し、多様な条件下でも強力な汎化性能を示した。
• MMIデータセットの混同行列では、恐怖が最も誤分類された感情であり、57.14%の恐怖サンプルが驚きと誤って予測された。
• 失敗要因の分析から、恐怖の表情はしばしば驚きや悲しみと視覚的に類似しており、より多様なトレーニングデータの必要性が浮き彫りになった。
• DTANとDTGNブランチは補い合っていた：DTANはフレーム間の差を効果的に捉えていたが、DTGNは自動的に顕著な顔のアクションポイントを学習していた。
• 30人の被験者という小規模なトレーニングセットでも、MMIデータセットで全体で2番目の高い精度を達成した。これはドメインシフトに対して強い耐性を示している。