[論文レビュー] FER-YOLO-Mamba: Facial Expression Detection and Classification Based on Selective State Space

Hui Ma, Sen Lei+2 more|ArXiv.org|May 3, 2024

Face and Expression Recognition被引用数 4

ひとこと要約

本論文では、選択的状態空間機構を統合したYOLOベースの新規モデル、FER-YOLO-Mambaを提案する。畳み込みによる局所的特徴抽出とMambaの長距離依存性モデリングを組み合わせることで、RAF-DBおよびSFEWデータセットにおいて最先端の性能を達成し、mAPとF1スコアが向上した。

ABSTRACT

Facial Expression Recognition (FER) plays a pivotal role in understanding human emotional cues. However, traditional FER methods based on visual information have some limitations, such as preprocessing, feature extraction, and multi-stage classification procedures. These not only increase computational complexity but also require a significant amount of computing resources. Considering Convolutional Neural Network (CNN)-based FER schemes frequently prove inadequate in identifying the deep, long-distance dependencies embedded within facial expression images, and the Transformer's inherent quadratic computational complexity, this paper presents the FER-YOLO-Mamba model, which integrates the principles of Mamba and YOLO technologies to facilitate efficient coordination in facial expression image recognition and localization. Within the FER-YOLO-Mamba model, we further devise a FER-YOLO-VSS dual-branch module, which combines the inherent strengths of convolutional layers in local feature extraction with the exceptional capability of State Space Models (SSMs) in revealing long-distance dependencies. To the best of our knowledge, this is the first Vision Mamba model designed for facial expression detection and classification. To evaluate the performance of the proposed FER-YOLO-Mamba model, we conducted experiments on two benchmark datasets, RAF-DB and SFEW. The experimental results indicate that the FER-YOLO-Mamba model achieved better results compared to other models. The code is available from https://github.com/SwjtuMa/FER-YOLO-Mamba.

研究の動機と目的

• 手動による前処理、特徴抽出、分類を含むマルチステージパイプラインに依存する従来のFER手法の限界を解消すること。
• Transformerの二次的計算複雑性と、CNNが顔の感情データにおける長距離依存性をモデル化できないという問題を克服すること。
• 線形計算複雑性と選択的状態空間機構を備えたMambaアーキテクチャを、エンドツーエンドの顔の感情認識を目的としたYOLOベースのオブジェクト検出フレームワークに統合すること。
• 局所的畳み込み特徴とグローバルな文脈表現を空間アテンションメカニズムを介して融合する二重ブランチのFER-YOLO-VSSモジュールを開発すること。
• ベンチマークデータセットRAF-DBおよびSFEWにおける優れた性能を実証し、実世界のシナリオにおけるモデルの頑健性と一般化能力を検証すること。

提案手法

• 顔の感情検出と分類を統合するための、ビジョンMambaバックボーンを備えたYOLOベースのオブジェクト検出フレームワーク、FER-YOLO-Mambaを提案する。
• 局所的特徴抽出のための標準的な畳み込み層と、長距離依存性モデリングのための選択的状態空間モデル（SSM）を組み合わせた、FER-YOLO-VSS二重ブランチモジュールを設計する。
• グローバル平均プーリング、多層パーセプトロン（MLP）、要素ごとの乗算を用いた空間アテンションメカニズムを統合し、特徴マップ内の判別的領域を強調する。
• Mambaアーキテクチャの効率的な状態空間遷移ダイナミクスを活用し、空間トークン間の逐次的依存関係を線形複雑性でモデル化することで、自己注意の二次的コストを回避する。
• 分類のための交差エントロピー損失と、境界ボックス回帰のための標準的なYOLO損失を用いてエンドツーエンドのモデルを訓練し、検出と認識の両方を同時に最適化可能にする。
• 訓練中にデータオーグメンテーションおよび正規化技術を適用し、照明、ポーズ、遮蔽の変動に対する頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ビジョンMambaベースのアーキテクチャは、線形計算複雑性を維持したまま、顔の感情画像における長距離依存性を効果的にモデル化できるか？
• RQ2 二重ブランチのFER-YOLO-VSSモジュールの統合は、FERタスクにおいて単独のCNNやTransformerベースのモデルと比較して、特徴表現をどのように改善するか？
• RQ3 FER-YOLO-Mambaモデルは、RAF-DBおよびSFEWデータセットにおいて、mAP、F1スコア、推論効率の観点から、既存の最先端モデルをどの程度上回るか？
• RQ4 遮蔽、照明不良、多様な頭部ポーズといった困難な条件下でも、提案モデルは頑健な性能を維持できるか？
• RQ5 空間アテンションメカニズムは、顔の顕著な領域（例：目、口）を効果的に強調でき、分類精度の向上に寄与するか？

主な発見

• FER-YOLO-MambaはRAF-DBデータセットでmAP 80.31%を達成し、YOLOvXの78.40%を上回った。
• SFEWデータセットでは、FER-YOLO-MambaがmAP 66.7%を達成したのに対し、YOLOvXは64.02%であった。これは、困難で現実的であるデータに対する優れた一般化能力を示している。
• RAF-DBでは平均F1スコアが0.75、SFEWでは0.60を達成し、クラス不均衡がある中でも全感情クラスにおいて強力な性能を示した。
• RAF-DBおよびSFEWにおける可視化結果から、モデルは顔領域を正確に局所化し、顕著な顔の特徴を強調するヒートマップを生成しており、判別的領域への有効な注目が確認された。
• FER-YOLO-VSS二重ブランチモジュールは、特に「Happy」と「Surprise」などのクラスで精度と再現率が向上したことで、重要な領域を効果的に強調することで特徴表現が向上したことが裏付けられた。
• 背景の干渉がある複雑なシーンでも、モデルは高い信頼度スコアと正確な境界ボックス予測を維持し、頑健性を示した。