[論文レビュー] Face-GCN: A Graph Convolutional Network for 3D Dynamic Face Identification/Recognition

Konstantinos Papadopoulos, Anis Kacem+2 more|arXiv (Cornell University)|Apr 19, 2021

Face recognition and analysis参考文献 35被引用数 7

ひとこと要約

本稿では、3次元顔のランドマークを用いた登録フリーな空間時間的グラフ畳み込みネットワークであるFace-GCNを提案する。各ランドマーク周辺の局所的な形状およびテクスチャ特徴を用いてグラフを構築し、空間時間的モデリングにST-GCNを適用することで、非剛性登録や密対応が不要であるにもかかわらず、BU4DFEデータセットにおいて困難なクロス・エモーションプロトコル下で88.45%の正確性を達成し、高い耐障害性を示した。

ABSTRACT

Face identification/recognition has significantly advanced over the past years. However, most of the proposed approaches rely on static RGB frames and on neutral facial expressions. This has two disadvantages. First, important facial shape cues are ignored. Second, facial deformations due to expressions can have an impact on the performance of such a method. In this paper, we propose a novel framework for dynamic 3D face identification/recognition based on facial keypoints. Each dynamic sequence of facial expressions is represented as a spatio-temporal graph, which is constructed using 3D facial landmarks. Each graph node contains local shape and texture features that are extracted from its neighborhood. For the classification/identification of faces, a Spatio-temporal Graph Convolutional Network (ST-GCN) is used. Finally, we evaluate our approach on a challenging dynamic 3D facial expression dataset.

研究の動機と目的

• 中立的表現に依存し、剛性登録に依存する静的3次元顔認識手法の限界を解消すること。
• 3次元顔の幾何学的変形の時間的変化をモデル化することで、実世界の状況における耐障害性を向上させること。
• 3次元顔メッシュの非剛性登録および密対応を必要としないこと。
• 統一されたGCNフレームワーク内で局所的な形状およびテクスチャ特徴を効果的に早期融合し、識別能を向上させること。
• 実際のクロス・エモーション評価プロトコル下で、困難な動的3次元顔の表情データセットに対して本手法を検証すること。

提案手法

• 動的メッシュシーケンスから3次元顔のアライメント手法を用いてランドマークを抽出する。
• 各ランドマークの周囲200点の局所的な形状およびテクスチャ特徴を抽出し、空間時間的グラフのノード特徴として定義する。
• ノードが時間軸に沿ったランドマークを表し、エッジが空間的近接性および時間的軌道を符号化する、空間時間的グラフを構築する。
• 正規化された隣接行列を用いて空間的および時間的次元にわたり特徴を伝搬する、変更を加えた空間時間的グラフ畳み込みネットワーク（ST-GCN）を実行する。
• 正規化されたラプラシアン行列を用いてグラフ畳み込み演算を定式化する：$\mathbf{f}_{\text{out}} = \mathbf{\Lambda}^{-\frac{1}{2}}(\mathbf{A} + \mathbf{I})\mathbf{\Lambda}^{-\frac{1}{2}}\mathbf{f}_{\text{in}}\mathbf{W}$。非ユークリッド空間のグラフ上でメッセージパッシングを可能にする。
• 出力特徴テンソルに時間的畳み込みを適用し、ランドマーク特徴の時間的変化をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 非剛性登録を必要としないグラフベースの深層学習フレームワークは、非剛性登録を要しない動的3次元顔の表情を効果的にモデル化できるか？
• RQ2 ランドマークレベルでの局所的形状およびテクスチャ特徴の統合は、動的3次元顔識別における認識性能をどのように向上させるか？
• RQ3 困難な動的3次元顔の表情データセットにおいて、登録フリーなST-GCNアプローチの性能は、最先端手法と比較してどうなるか？
• RQ4 認識の難易度を高めるクロス・エモーション評価プロトコルは、提案手法の一般化性能にどのように影響するか？
• RQ5 空間時間的グラフ畳み込みは、静的または外観のみの手法よりも、表情に起因する変形から顔の識別的特徴をより効果的に捉えられるか？

主な発見

• 提案されたFace-GCNフレームワークは、クロス・エモーション評価プロトコル下でBU4DFEデータセットにおいて平均88.45%の認識正確性を達成した。これは標準プロトコルよりも困難な条件である。
• 3DS（99.98%）やS3DS（99.92%）といった最先端手法に比べて絶対的正確性は低いが、非剛性登錇を一切不要としている点が、実世界への展開において顕著な利点である。
• フレームワークはGCN内での早期融合により、局所的な形状およびテクスチャ特徴を効果的に統合し、密対応を必要とせずに識別能を向上させた。
• アブレーションスタディの結果、形状およびテクスチャ特徴の両方が性能に顕著な寄与をしていることが確認され、完全なモデルがアブレーション変種を上回った。
• ST-GCNアーキテクチャは、顔のランドマークの時間的ダイナミクスを効果的にモデル化し、表情に起因する変形を識別に適した特徴として捉えた。
• 結果から、表情のニュートラライゼーションを明示的に行わなくても、動的3次元顔の表情モデリングが有効であることが示された。これは、変形が識別に適した情報を持つという仮説を支持する。