[論文レビュー] Graph-based Facial Affect Analysis: A Review of Methods, Applications and Challenges.

Yang Liu, Xingming Zhang+4 more|arXiv (Cornell University)|Mar 29, 2021

Emotion and Mood Recognition参考文献 179被引用数 4

ひとこと要約

本稿は、グラフベースの顔面感情分析（FAA）に関する最初の包括的サーベイを提示し、顔面部品間の意味的関係をグラフ構造を用いてモデル化することで感情認識を向上させるフレームワークを提案する。グラフ構築手法、従来のモデルおよびディープラーニングモデル（特にグラフニューラルネットワーク）による関係性推論、最先端手法のベンチマークをレビューし、分野におけるパフォーマンスの向上と未解決の課題を強調する。

ABSTRACT

Facial affect analysis (FAA) using visual signals is important in human-computer interaction. Early methods focus on extracting appearance and geometry features associated with human affects, while ignoring the latent semantic information among individual facial changes, leading to limited performance and generalization. Recent work attempts to establish a graph-based representation to model these semantic relationships and develop frameworks to leverage them for various FAA tasks. In this paper, we provide a comprehensive review of graph-based FAA, including the evolution of algorithms and their applications. First, the FAA background knowledge is introduced, especially on the role of the graph. We then discuss approaches that are widely used for graph-based affective representation in literature and show a trend towards graph construction. For the relational reasoning in graph-based FAA, existing studies are categorized according to their usage of traditional methods or deep models, with a special emphasis on the latest graph neural networks. Performance comparisons of the state-of-the-art graph-based FAA methods are also summarized. Finally, we discuss the challenges and potential directions. As far as we know, this is the first survey of graph-based FAA methods. Our findings can serve as a reference for future research in this field.

研究の動機と目的

• 従来の特徴抽出手法に課題を抱える顔面感情分析（FAA）におけるグラフベースのアプローチを体系的にレビューすること。
• 顔面部品間の意味的関係をモデル化するためのグラフ構築技術の進化を分析すること。
• 従来モデルとディープラーニング、特にグラフニューラルネットワーク（GNNs）に焦点を当てた関係性推論手法の分類と評価を行うこと。
• 最先端のグラフベースのFAA手法のパフォーマンス比較を要約し、主なトレンドを特定すること。
• 一般化性およびパフォーマンスの向上に向けた、グラフベースのFAAにおける未解決の課題と今後の研究方向性を提示すること。

提案手法

• 本稿は、アルゴリズム開発、グラフ構築、関係性推論の観点から、グラフベースのFAA手法を分析する構造的文献レビュー手法を採用する。
• 顔面キーポイントの位置、意味的顔面領域、または学習された表現に基づいて、グラフ構築アプローチを分類し、顔面のダイナミクスをモデル化する。
• 関係性推論は、従来の手法（例：グラフマッチング、カーネル法）とディープラーニングモデルの2つのカテゴリに分けられ、特にグラフニューラルネットワーク（GNNs）が注目される。
• 標準化されたベンチマークを用いて最先端の手法を評価し、データセットおよびタスクタイプごとのパフォーマンスを比較する。
• コアな構成要素には、グラフ畳み込みネットワーク（GCNs）、グラフアテンションネットワーク（GATs）、および顔面グラフにおける特徴伝搬のためのメッセージパッシング機構が含まれる。
• 本フレームワークは、外観や幾何学的特徴のみに依存するのではなく、顔の変化に隠れた意味的関係をモデル化することで、感情認識の向上を重視する。

実験結果

リサーチクエスチョン

• RQ1 従来の外観および幾何学に基づく手法に課題を抱える顔面感情分析において、グラフベースの表現はどのように進化したか？
• RQ2 顔データからグラフを構築する主なアプローチは何か。それらは感情認識のパフォーマンスにどのように影響を与えるか？
• RQ3 グラフベースのFAAフレームワークにおいて、従来の手法とディープラーニングベースの関係性推論手法の比較はどのように行われるか？
• RQ4 最先端のグラフベースのFAAモデルは、非グラフベースのベースラインに比べて、どのような重要なパフォーマンス向上を達成しているか？
• RQ5 グラフベースのFAAにおいて、依然として残されている主な課題は何か。今後の研究で最も有望な方向性は何か？

主な発見

• グラフベースのFAA手法は、顔面部品間の潜在的意味的関係をモデル化することで、従来の外観および幾何学に基づく手法を著しく上回る。
• 学習されたグラフ構築への明確なトレンドが観察され、アテンションメカニズムや学習可能な埋め込みが、グラフ表現の質を向上させる。
• 特にGCNとGATは、顔面感情分析における関係性推論の主流なアーキテクチャとなっており、効果的な特徴伝搬と集約を可能にしている。
• パフォーマンス比較では、複数のベンチマークデータセットでグラフベースのフレームワークを用いることで、感情認識の正確性が一貫して向上している。
• 進展はあるが、多様なデータセットにおける一般化性、学習されたグラフの解釈可能性、および照明、アングル、遮蔽の変化に対するロバスト性の向上に課題が残っている。