[論文レビュー] Cross-Centroid Ripple Pattern for Facial Expression Recognition

Monu Verma, Prafulla Saxena+2 more|arXiv (Cornell University)|Jan 16, 2022

Emotion and Mood Recognition被引用数 5

ひとこと要約

本稿では、2つの半径におけるリップル間のクロスセンタロイド関係をモデル化することで、顔の表情認識のための新しい特徴記述子であるクロスセンタロイドリップルパターン（CRIP）を提案する。CRIPは、勾配情報と部分領域平均を統合することで、ポーズ、照明、ノイズ、および自発的表現に対しても頑健性を高め、厳しい条件下でも7つの多様なデータセットで最先端の精度を達成した。

ABSTRACT

In this paper, we propose a new feature descriptor Cross-Centroid Ripple Pattern (CRIP) for facial expression recognition. CRIP encodes the transitional pattern of a facial expression by incorporating cross-centroid relationship between two ripples located at radius r1 and r2 respectively. These ripples are generated by dividing the local neighborhood region into subregions. Thus, CRIP has ability to preserve macro and micro structural variations in an extensive region, which enables it to deal with side views and spontaneous expressions. Furthermore, gradient information between cross centroid ripples provides strenght to captures prominent edge features in active patches: eyes, nose and mouth, that define the disparities between different facial expressions. Cross centroid information also provides robustness to irregular illumination. Moreover, CRIP utilizes the averaging behavior of pixels at subregions that yields robustness to deal with noisy conditions. The performance of proposed descriptor is evaluated on seven comprehensive expression datasets consisting of challenging conditions such as age, pose, ethnicity and illumination variations. The experimental results show that our descriptor consistently achieved better accuracy rate as compared to existing state-of-art approaches.

研究の動機と目的

• 既存のローカルバイナリーパターンに基づく手法がポーズの変化、照明の変化、および自発的顔の表現を処理する際の限界を克服すること。
• 広範な顔領域にわたるマクロおよびマイクロ構造的変化を捉えることができる特徴記述子の開発。
• 表情の識別に不可欠な、目、鼻、口といった重要な顔領域におけるエッジ特徴検出の強化。
• 部分領域平均化と勾配ベースの符号化を通じて、ノイズおよび照明の不規則な変化に対する頑健性の向上。
• 年齢、人種、顔のポーズの変動が生じる多様なデータセットにおいて一貫した性能を発揮すること。

提案手法

• CRIPは、局所的な顔領域内で半径r1およびr2の2つのリップルを生成し、それぞれを部分領域に分割することで、マルチスケールの構造的パターンを捉える。
• 異なる空間スケール間の遷移的パターンをモデル化するために、リップル間のクロスセンタロイド関係を計算する。
• クロスセンタロイドリップル間の勾配情報を用いて、活発な顔領域における顕著なエッジ特徴を強調する。
• 画素値に対して部分領域平均化を適用することで、照明の変動に伴うノイズの耐性と安定性を向上させる。
• 空間的、勾配的、センタロイドベースの符号化を組み合わせることで、包括的な表情表現を形成する最終的な記述子を構築する。
• 本手法は、微小な幾何的歪みに対して不変であり、多様な顔の配置に対しても有効であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールのリップル間のクロスセンタロイド関係をモデル化する特徴記述子が、ポーズや表情の変動下でも認識性能を向上させることができるか。
• RQ2 リップル間の勾配情報の組み込みが、目、鼻、口といった重要な顔領域におけるエッジ特徴検出をどの程度向上させるか。
• RQ3 CRIPにおける部分領域平均化が、ノイズおよび照明変化に対する頑健性にどのように寄与するか。
• RQ4 年齢、人種、環境的要因の多様性があるデータセットにおいて、CRIPが既存の最先端手法を上回る性能を示すか。
• RQ5 CRIPは、顔の表情におけるマクロおよびマイクロ構造的変化を効果的に捉えることができ、一般化性能の向上に寄与するか。

主な発見

• CRIPは、厳しい条件下でも7つのベンチマークデータセットで優れた精度を達成し、常に最先端の手法を上回った。
• 部分領域平均化と勾配ベースの符号化のおかげで、照明変動に対して強い頑健性を示した。
• 目、鼻、口といった顔領域におけるマイクロ構造的詳細を効果的に捉えており、表情識別に不可欠な特徴を強化した。
• 側面視および自発的表現のサンプルにおいても性能が向上したため、非正面ポーズへの一般化能力が向上した。
• クロスセンタロイド関係メカニズムにより、空間スケール間の遷移的パターンのモデリングが向上し、より高い識別力が得られた。
• 定量的結果から、年齢、人種、ポーズの多様性があるデータセットにおいても、CRIPの一貫した優位性が確認された。