[論文レビュー] 2D+3D Facial Expression Recognition via Discriminative Dynamic Range Enhancement and Multi-Scale Learning

Yang Jiao, Yi Niu+2 more|arXiv (Cornell University)|Nov 16, 2020

Face and Expression Recognition参考文献 32被引用数 7

ひとこと要約

本稿では、情報理論的動的範囲拡張とマルチスケール学習を用いて、判別性のある3次元表情特徴を向上させる、新規な2D+3D顔の表情認識手法を提案する。深度歪み制約の下で判別性のある深度範囲のエントロピーを最大化することで、不完全な点群からの誤推定を低減する高品質なジオメトリマップを生成し、BU-3DFEおよびBosphorusデータセットで最先端の精度とマップエントロピーを達成した。

ABSTRACT

In 2D+3D facial expression recognition (FER), existing methods generate multi-view geometry maps to enhance the depth feature representation. However, this may introduce false estimations due to local plane fitting from incomplete point clouds. In this paper, we propose a novel Map Generation technique from the viewpoint of information theory, to boost the slight 3D expression differences from strong personality variations. First, we examine the HDR depth data to extract the discriminative dynamic range $r_{dis}$, and maximize the entropy of $r_{dis}$ to a global optimum. Then, to prevent the large deformation caused by over-enhancement, we introduce a depth distortion constraint and reduce the complexity from $O(KN^2)$ to $O(KNτ)$. Furthermore, the constrained optimization is modeled as a $K$-edges maximum weight path problem in a directed acyclic graph, and we solve it efficiently via dynamic programming. Finally, we also design an efficient Facial Attention structure to automatically locate subtle discriminative facial parts for multi-scale learning, and train it with a proposed loss function $\mathcal{L}_{FA}$ without any facial landmarks. Experimental results on different datasets show that the proposed method is effective and outperforms the state-of-the-art 2D+3D FER methods in both FER accuracy and the output entropy of the generated maps.

研究の動機と目的

• 3次元顔の表情認識において、強いクラス内個人差が弱いクラス間表情差を圧倒する問題に対処すること。
• 既存のマップ生成手法において、不完全な3次元点群における局所的平面フィッティングに起因する誤った幾何的推定を克服すること。
• エントロピー最大化による情報含量の最大化を通じて、高ダイナミックレンジ（HDR）深度データからの微細な表情特徴を強化すること。
• 過剰強調を防ぎつつ計算効率を維持する深度歪み制約を考案すること。
• 顔のランドマークアノテーションを不要とするランドマークフリーな顔の注意モジュールを用いて、マルチスケール特徴学習を可能とすること。

提案手法

• 本手法は、まずHDR深度データから判別性のある動的範囲 $ r_{dis} $ を選択する、粗くから細かくまでのGEMax（グローバル最適エントロピー最大化）フレームワークを導入する。
• 制約付きエントロピー最大化を、有向無閉路グラフ（DAG）における $ K $-エッジの最大重みパス問題として定式化し、動的計画法を用いて複雑性を $ O(KN^2) $ から $ O(KN\tau) $ に低減する。
• トーンマッピング中の過剰強調および幾何的変形を防ぐために、深度歪み制約 $ \tau $ を導入する。
• 複数の $ \tau $ 値に対して強化された深度マップを生成し、マルチスケール入力表現を実現する。
• 顔のランドマークアノテーションを必要とせず、判別性のある顔領域を自動で特定する、エンド・ツー・エンドで学習可能な顔の注意（FA）モジュールを設計する。
• 主なFERネットワークと同時にFAモジュールを学習するための新規なFA損失 $ \mathcal{L}_{FA} $ を提案する。

実験結果

リサーチクエスチョン

• RQ1 判別性のある深度範囲のエントロピー最大化は、強い個人差が存在する状況下でも顔の表情認識を向上させることができるか？
• RQ2 深度歪み制約は、不完全な3次元スキャンのトーンマッピング中に過剰強調および幾何的歪みを効果的に防止できるか？
• RQ3 ランドマークフリーな注意機構は、微細で判別性の高い顔領域を自動で特定し、マルチスケール特徴学習に焦点を当てることができるか？
• RQ4 提案されたGEMaxベースのマップ生成は、認識精度とマップ情報量（エントロピー）の両面で、従来の幾何マップ手法を上回るか？
• RQ5 全体顔とFAが生成する局所的顔領域特徴を併用したマルチスケール学習は、FER性能を向上させることができるか？

主な発見

• 最適な深度歪み制約 $ \tau = 20 $ の下で、BU-3DFEで85.81%、Bosphorusで80.12%の認識精度を達成し、最先端手法を上回った。
• 最大の認識精度は6 cmの深度範囲で達成され、この範囲内に最も判別性のある表情情報が集中していることが示された。
• 生成されたマップのエントロピーは $ \tau $ に応じて増加し、BU-3DFEでは7.99、Bosphorusでは7.98でピークに達し、情報強化の有効性が確認された。
• 顔の注意モジュールは、BU-3DFEでは76.39%、Bosphorusでは68.17%の精度を顔領域のみで達成し、ランドマークなしで判別性のある領域を効果的に特定していることが示された。
• 全体画像とFAが生成する顔領域特徴を併用したマルチスケール学習により、BU-3DFEで89.72%、Bosphorusで83.63%の性能に向上し、階層的特徴表現の利点が示された。
• DAG上の動的計画法により、計算複雑性を $ O(KN^2) $ から $ O(KN\tau) $ に低減させ、効率的な最適化を可能にした。