[論文レビュー] ExpNet: Landmark-Free, Deep, 3D Facial Expressions

Feng-Ju Chang, Anh Tran+4 more|arXiv (Cornell University)|Feb 2, 2018

Face recognition and analysis参考文献 40被引用数 8

ひとこと要約

ExpNetは、顔の顔貌特徴点検出を回避する深層学習アプローチを提案し、畳み込みニューラルネットワーク（CNN）を用いて、画像強度から29次元の3次元顔の表情係数を直接回帰することで、スケール変化や極端なアングル下でも優れた精度と耐性を達成している。顔貌特徴点ベースの手法と比較して、特に顔貌特徴点検出が困難な状況下でも優れている。また、処理速度は数個のオーダー以上に高速である。

ABSTRACT

We describe a deep learning based method for estimating 3D facial expression coefficients. Unlike previous work, our process does not relay on facial landmark detection methods as a proxy step. Recent methods have shown that a CNN can be trained to regress accurate and discriminative 3D morphable model (3DMM) representations, directly from image intensities. By foregoing facial landmark detection, these methods were able to estimate shapes for occluded faces appearing in unprecedented in-the-wild viewing conditions. We build on those methods by showing that facial expressions can also be estimated by a robust, deep, landmark-free approach. Our ExpNet CNN is applied directly to the intensities of a face image and regresses a 29D vector of 3D expression coefficients. We propose a unique method for collecting data to train this network, leveraging on the robustness of deep networks to training label noise. We further offer a novel means of evaluating the accuracy of estimated expression coefficients: by measuring how well they capture facial emotions on the CK+ and EmotiW-17 emotion recognition benchmarks. We show that our ExpNet produces expression coefficients which better discriminate between facial emotions than those obtained using state of the art, facial landmark detection techniques. Moreover, this advantage grows as image scales drop, demonstrating that our ExpNet is more robust to scale changes than landmark detection methods. Finally, at the same level of accuracy, our ExpNet is orders of magnitude faster than its alternatives.

研究の動機と目的

• 制約のない条件下で顔貌特徴点検出に依存する手法が失敗しやすい状況を考慮し、顔貌特徴点検出を回避する3次元顔の表情推定のための深層学習手法を開発すること。
• 顔貌特徴点位置の推定に依存しないことで、スケール変化、平面外回転、部分的遮蔽に対する耐性を向上させること。
• 再構成誤差ではなく、顔の感情認識ベンチマークでの下流タスクの性能を指標として表情の質を評価すること。
• 顔の画像強度から3次元表情係数を直接回帰することで、顔貌特徴点ベースの手法よりもより判別力があり汎用性の高い表現を獲得できることを示すこと。
• マルチステージ処理を回避することで、顔貌特徴点ベースのパイプラインよりも著しく高速な推論を達成すること。

提案手法

• ExpNetは、顔の顔貌特徴点検出を一切経由せずに、生の顔画像強度から直接29次元の3次元表情係数を回帰する深層畳み込みニューラルネットワークである。
• ネットワークは、多様な表情、アングル、照明条件を持つ3DMMで生成された大規模な合成データセット上で学習され、予測値と真値の表情係数の差を最小化する損失関数が使用されている。
• 合成データに含まれるラベルノイズに対処するため、学習中にノイズのある教師信号に対しても頑健な深層ネットワークの特性を活用している。
• 3DMMに基づく形状事前分布は、すべてのサンプルで固定・共有されており、ネットワークは表情推定にのみ集中できる。
• 2段階の訓練戦略を採用：まず、多様な表情を持つ合成データで事前学習を行い、その後、弱い教師信号を用いて実世界データでファインチューニングする。
• 評価は、CK+およびEmotiW-17で、推定された表情係数を線形SVM分類器の特徴量として用いた感情認識精度を用いて実施している。

実験結果

リサーチクエスチョン

• RQ1 顔貌特徴点検出に依存せずに、画像強度から3次元顔の表情係数を正確に推定できるか？
• RQ2 極端なスケール変化やアングル変化下において、顔貌特徴点を用いない推定手法と顔貌特徴点ベースの手法の間で、感情認識精度にどのような差が生じるか？
• RQ3 本手法は、遮蔽や極端な頭部アングルを伴う屋外の制約のない顔画像に対しても、どの程度一般化できるか？
• RQ4 顔貌特徴点を用いないアプローチの推論速度は、マルチステージの顔貌特徴点ベースのパイプラインと比較してどの程度高速か？
• RQ5 推定された表情係数は、顔貌特徴点ベースの手法に比べ、微細な感情のニュアンスをよりよく捉えられるか？

主な発見

• ExpNetは、CK+およびEmotiW-17ベンチマークの全評価手法の中で最高の感情認識精度を達成しており、最先端の顔貌特徴点ベース手法CLNFでさえも上回っている。
• 画像スケールが小さくなるに従い、ExpNetと顔貌特徴点ベース手法との性能差が顕著に拡大しており、スケール変化に対する優れた耐性を示している。
• ExpNetは、顔貌特徴点ベースの代替手法に比べ少なくとも1オーダー以上に高速であり、3DDFAのようなエンドツーエンドの深層ネットワークと同等の推論時間である一方、マルチステージパイプラインの計算コストを回避している。
• 可視化結果から、ExpNetは恐怖や怒りといった微細な表情をより良く捉えており、3DDFA や CE-CLM で見られる過剰な表現やスケールの不一致を回避している。
• 一方で、驚きのような極端な表情では、3DDFA がより視覚的に妥当な推定を行う一方で、精度はやや劣ることがある。
• 実世界の制約のない画像に対しても、顔の極端なアングル、遮蔽、低解像度に対しても、良好に一般化しており、表情推定を成功させている。