[論文レビュー] Pose-adaptive Hierarchical Attention Network for Facial Expression Recognition

Yuanyuan Liu, Jiyao Peng+2 more|arXiv (Cornell University)|May 24, 2019

Emotion and Mood Recognition参考文献 35被引用数 19

ひとこと要約

本稿では、非制約的でマルチビュー環境下において顔の表情と頭部ポーズを同時に認識するポーズ適応型階層的アテンションネットワーク、PhaNetを提案する。階層的ピクセルおよびスケールアテンションメカニズムを活用することで、ポーズ不変で表情に特徴的な領域を動的に選択し、動的重み付きマルチタスク学習を用いてエンドツーエンドの訓練を最適化し、マルチビューデータセットで平均84.92%の精度、イン・ザ・ワイルドなSFEWで31.25%の精度を達成し、最先端の性能を実現した。

ABSTRACT

Multi-view facial expression recognition (FER) is a challenging task because the appearance of an expression varies in poses. To alleviate the influences of poses, recent methods either perform pose normalization or learn separate FER classifiers for each pose. However, these methods usually have two stages and rely on good performance of pose estimators. Different from existing methods, we propose a pose-adaptive hierarchical attention network (PhaNet) that can jointly recognize the facial expressions and poses in unconstrained environment. Specifically, PhaNet discovers the most relevant regions to the facial expression by an attention mechanism in hierarchical scales, and the most informative scales are then selected to learn the pose-invariant and expression-discriminative representations. PhaNet is end-to-end trainable by minimizing the hierarchical attention losses, the FER loss and pose loss with dynamically learned loss weights. We validate the effectiveness of the proposed PhaNet on three multi-view datasets (BU-3DFE, Multi-pie, and KDEF) and two in-the-wild FER datasets (AffectNet and SFEW). Extensive experiments demonstrate that our framework outperforms the state-of-the-arts under both within-dataset and cross-dataset settings, achieving the average accuracies of 84.92\%, 93.53\%, 88.5\%, 54.82\% and 31.25\% respectively.

研究の動機と目的

• 非制約的環境下で顔の表情認識性能を低下させるポーズ変動の課題に対処すること。
• ポーズ推定器に依存する2段階手法の限界を克服し、エンドツーエンドで学習可能なフレームワークを提案すること。
• 階層的アテンションを用いて表情とポーズの表現を同時に学習することで、より高いロバスト性と一般化性能を実現すること。
• 微調整なしに、特にドメインシフトが著しいイン・ザ・ワイルドデータセットへの効果的なクロスデータセットFERを可能にすること。
• 学習可能な損失重みを用いて、表情とポーズの学習を動的にバランス調整する動的マルチタスク学習スキームの開発

提案手法

• 複数スケールでの表情関連領域を検出するために、2段階の弱教師ありピクセルアテンションネットワークを組み合わせた階層的ピクセルアテンション学習（HPAL）を導入する。
• ポーズ不変で表情に特徴的な表現学習への寄与度に基づき、最も情報量の多いスケールを選択するための統合的スケールアテンション学習（SAL）を採用する。
• 階層的アテンション損失、FER損失、ポーズ損失を、適応的かつ対称的な損失重みで最小化する、動的制約付きマルチタスク学習（DCML）フレームワークを適用する。
• 勾配消失を防ぎ、特に表情タスクにおいて訓練を安定化させるために、損失重み付け機構に制約要因を導入する。
• アテンション、表情、ポーズの監視を統合したマルチ損失目的関数を用いて、ネットワーク全体をエンドツーエンドで訓練する。
• 人間の視覚系の直観（グローバル特徴が遮蔽されたり変形されたりした場合にローカル特徴に注目する）を反映させるために、階層的特徴抽象化をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 ポーズ正規化や各ポーズごとの分類器を別々に必要とせずに、1つの深層ネットワークがポーズ不変で表情に特徴的な表現を同時に学習できるか？
• RQ2 ポーズ変動下でも、表情認識に最も関連する顔領域を階層的アテンションがどれほど効果的に特定できるか？
• RQ3 固定または重みなしの損失組み合わせと比較して、動的重み付きマルチタスク学習は収束性と性能向上に寄与するか？
• RQ4 制約のあるマルチビューデータセットで学習したモデルが、ドメインシフトが著しいイン・ザ・ワイルドなデータセットに、ドメイン適応なしでどの程度一般化できるか？
• RQ5 提案されたアテンション機構により、正確なポーズ推定器への依存を軽減しつつ、高いFER精度を維持できるか？

主な発見

• PhaNetは、BU-3DFE、Multi-Pie、KDEFのマルチビューデータセットで平均84.92%の精度を達成し、同一データセットおよびクロスデータセット設定の両方で最先端の手法を上回った。
• イン・ザ・ワイルドなSFEWデータセットでは、再訓練なしで31.25%の精度を達成し、GANベース（26.58%）およびDenseNetベース（26.16%）の手法を上回った。
• アブレーションスタディの結果、階層的アテンション損失とポーズ・表情損失を組み合わせた場合に最も高い性能（BU-3DFEで84.92%）が得られ、マルチ損失設計の有効性が確認された。
• 動的損失重み付けに制約要因を組み込むことで、勾配消失が抑制され、特に勾配消失に苦しむ表情タスクの訓練が安定化した。
• 動的損失重みは学習過程で変化する：表情の重みは初期値から約0.6に増加し、ポーズの重みは約0.4に減少する。これはタスク固有の寄与度を反映し、収束性を向上させた。
• BU-3DFEではポーズ推定精度が100%に達し、特に困難な条件下でも頭部ポーズを特定する能力の高さを示した。