[論文レビュー] Semantic Relationships Guided Representation Learning for Facial Action Unit Recognition

Guanbin Li, Xin Zhu+3 more|arXiv (Cornell University)|Apr 22, 2019

Face recognition and analysis参考文献 28被引用数 6

ひとこと要約

本論文は、顔の行動単位（AU）の意味的関係性を知識グラフとして統合し、マルチスケール畳み込みニューラルネットワーク（CNN）にゲート付きグラフニューラルネットワーク（GGNN）を組み合わせた、エンドツーエンドの新規フレームワークSRERLを提案する。共生的で相互に排他的なAU関係をモデル化することで、BP4DおよびDISFAベンチマークで最先端の性能を達成し、AUCで最大18.1%、F1スコアで最大4.0%の向上を達成した。

ABSTRACT

Facial action unit (AU) recognition is a crucial task for facial expressions analysis and has attracted extensive attention in the field of artificial intelligence and computer vision. Existing works have either focused on designing or learning complex regional feature representations, or delved into various types of AU relationship modeling. Albeit with varying degrees of progress, it is still arduous for existing methods to handle complex situations. In this paper, we investigate how to integrate the semantic relationship propagation between AUs in a deep neural network framework to enhance the feature representation of facial regions, and propose an AU semantic relationship embedded representation learning (SRERL) framework. Specifically, by analyzing the symbiosis and mutual exclusion of AUs in various facial expressions, we organize the facial AUs in the form of structured knowledge-graph and integrate a Gated Graph Neural Network (GGNN) in a multi-scale CNN framework to propagate node information through the graph for generating enhanced AU representation. As the learned feature involves both the appearance characteristics and the AU relationship reasoning, the proposed model is more robust and can cope with more challenging cases, e.g., illumination change and partial occlusion. Extensive experiments on the two public benchmarks demonstrate that our method outperforms the previous work and achieves state of the art performance.

研究の動機と目的

• 既存のAU認識手法がAUを独立して扱い、それらの間の複雑で構造的な関係性をモデル化できないという限界に対処すること。
• 照明の変化や部分的遮蔽といった困難な条件下でも、高次のAU関係性を特徴学習に組み込むことで、耐性を向上させること。
• AU関係性モデリングを特徴表現パイプラインに直接統合することで、エンドツーエンド学習を可能にし、後処理や独立したルールベースモジュールを回避すること。
• グラフニューラルネットワークの微分可能で表現力に優れた性質を活用し、顔のAUに対して構造的推論を行うこと。
• 顔の表情で観察される解剖学的および行動的連合に基づいて、AU関係性の知識グラフを構築すること。

提案手法

• フレームワークは、入力画像から階層的な顔領域特徴を抽出するためにマルチスケールCNNを用いる。
• 顔の表情における同時発現や相互排他的なパターンをもとに、AU間の意味的関係を表現する構造的知識グラフを構築する。
• グラフ全体を横断してノード（AU）表現を伝搬・精錬するため、ゲート付きグラフニューラルネットワーク（GGNN）をネットワークに統合する。
• GGNNは、ゲート付き再帰ユニットを用いてノード特徴を反復的に更新することで、メッセージパッシングを通じてAU間の複雑な依存関係を学習する。
• ネットワーク全体をエンドツーエンドで学習し、特徴学習とAU関係性推論を同時に最適化する。
• 最終的なAU認識は、グラフ正則化された特徴にマルチラベル分類ヘッドを適用することで実行する。

実験結果

リサーチクエスチョン

• RQ1 顔のAU間の構造的意味的関係性をモデル化することで、困難な条件下でもAU認識のロバスト性と正確性が向上するか？
• RQ2 AU関係性をエンドツーエンドで学習可能な形で、深層ニューラルネットワークに効果的に統合できるか？
• RQ3 微分可能なグラフニューラルネットワークを用いたAU関係性推論が、従来の後処理やルールベース手法を上回るか？
• RQ4 外見的特徴と関係的特徴の両方を組み込むことで、標準的なAU認識ベンチマークでの性能がどの程度向上するか？
• RQ5 AU関係性の知識グラフは、実際の顔の表情で観察される意味的な連合や排他関係を的確に捉えられるか？

主な発見

• 提案されたSRERLフレームワークは、BP4Dデータセットで最先端の性能を達成し、2番目に良い手法よりもF1スコアで4.0%、AUCで18.1%高い結果を示した。
• DISFAデータセットでは、2番目に良い手法よりもF1スコアで2.3%高く、AUCで28.4%高い結果を得た。
• 手作業で特徴を抽出し、独立したラベル推論に依存する線形SVM（LSVM）と比較して、F1スコアは27.6%、AUCは41.9%高い性能を達成した。
• AU関係性をモデル化するDSINと比較して、BP4DではF1スコアで4.0%高く、DISFAでは2.3%高い結果を示し、分離された関係性モデリングではなく、統合的最適化の優位性を示した。
• DRMLおよびROIと比較して、BP4DではF1スコアでそれぞれ14.6%および6.5%高く、DISFAでは29.2%および7.4%高い結果を得た。
• アブレーションスタディにより、GGNNに基づくグラフ推論が性能を顕著に向上させることを確認し、構造的AU関係性モデリングの有効性を裏付けた。