[論文レビュー] CLIPER: A Unified Vision-Language Framework for In-the-Wild Facial Expression Recognition

Hanting Li, Hongjing Niu+2 more|arXiv (Cornell University)|Mar 1, 2023

Emotion and Mood Recognition被引用数 4

ひとこと要約

CLIPERは、CLIPの対照的事前学習を活用し、各表情に対して微細で解釈可能なテキストプロンプトを学習するための複数表情テキスト記述子（METD）を導入することで、野生環境下の顔の表情認識（FER）における統合的ビジョン・ランゲージフレームワークを提案する。実世界の表情の多様性を捉えるために、手動で設計されたプロンプトに依存せずに、多様で意味的に豊かなテキスト記述子を自動生成することで、5つの野生環境下FERベンチマークで最先端の性能を達成した。

ABSTRACT

Facial expression recognition (FER) is an essential task for understanding human behaviors. As one of the most informative behaviors of humans, facial expressions are often compound and variable, which is manifested by the fact that different people may express the same expression in very different ways. However, most FER methods still use one-hot or soft labels as the supervision, which lack sufficient semantic descriptions of facial expressions and are less interpretable. Recently, contrastive vision-language pre-training (VLP) models (e.g., CLIP) use text as supervision and have injected new vitality into various computer vision tasks, benefiting from the rich semantics in text. Therefore, in this work, we propose CLIPER, a unified framework for both static and dynamic facial Expression Recognition based on CLIP. Besides, we introduce multiple expression text descriptors (METD) to learn fine-grained expression representations that make CLIPER more interpretable. We conduct extensive experiments on several popular FER benchmarks and achieve state-of-the-art performance, which demonstrates the effectiveness of CLIPER.

研究の動機と目的

• 従来のFER手法がワンホットまたはソフトラベルに依存するため、意味的解釈可能性に欠けるという問題に対処すること。
• 標準的なCLIPが抽象的で複合的な顔の表情カテゴリに適応できないという制限を克服し、ビジョン・ランゲージ事前学習を抽象的で複合的な表情カテゴリに適応させること。
• 制約のない環境下における静的および動的顔の表情認識に適用可能な統合フレームワークを構築すること。
• 手動でのプロンプト設計に依存せずに、各表情クラスに対して多様で微細なテキスト記述子を自動で学習すること。
• 表情の微細な変化（例：「少し嬉しい」対「とても嬉しい」）を反映するテキスト埋め込みを学習することで、モデルの解釈可能性を向上させること。

提案手法

• ワンホットラベルの代わりにテキストを監視信号として用いることで、CLIPの対照的ビジョン・ランゲージ事前学習を顔の表情認識に適応する。
• 各表情クラスにK個（K=5）の異なるテキスト埋め込みを関連付ける複数表情テキスト記述子（METD）を導入し、二段階の訓練プロセスで学習する。
• 各METDトークンは学習可能な連続的テキスト埋め込みであり、同じ表情の画像特徴と整合するように、対照的損失を用いて最適化される。
• 動的FERでは、フレームレベル特徴を時間平均プーリングで集約することで、複雑な時間的モデリングを回避する。
• 二段階訓練パラダイムを採用：第一段階では、CLIPの事前学習済みビジョンエンコーダーを微調整して画像エンコーダーを訓練する。第二段階では、画像・テキストの整合性を保つ対照的損失を用いてMETD埋め込みを訓練する。
• CLIPの事前学習済みテキストエンコーダーを用いてMETDの学習を初期化およびガイドすることで、自然言語と整合性のある意味的整合性を確保する。

実験結果

リサーチクエスチョン

• RQ1 抽象的で多様な表情カテゴリが特徴となる野生環境下のFERに、対照的ビジョン・ランゲージ事前学習を効果的に適応できるか？
• RQ2 手動でのプロンプト設計に依存せずに、意味的に豊かで多様な表情のテキスト記述子を自動生成できるか？
• RQ3 各表情クラスに複数のテキスト記述子を割り当てることで、単一のプロンプトに比べてモデルの性能と解釈可能性が向上するか？
• RQ4 METDは、強度や表情の形式（例：笑顔対笑い）といった微細な表情の変化をどの程度捉えられるか？
• RQ5 CLIPERは、制約のない環境下における静的および動的FERベンチマークで、従来の最先端手法を上回る性能を示すか？

主な発見

• CLIPERは、RAF-DB、AffectNet、FER2013を含む5つの野生環境下FERベンチマークで最先端の性能を達成し、以前の最先端手法を上回った。
• METDによるより強固で意味的に多様なテキスト記述子の学習のおかげで、FERデータセットにおけるゼロショット一般化性能が顕著に向上した。
• 可視化の結果、METDは「悲しみ」に対して「悲しみの頂点」のような直接的な表情関連語だけでなく、「ゾンビ」のような意味的に関連する概念まで学習していることが示され、解釈可能性が裏付けられた。
• この手法は表情の微細なサブクラスを効果的に学習した：例えば、RAF-DBにおけるHA₁とHA₃は、「嬉しい」の微細な強度差（笑顔対笑い）に対応した。
• 複雑な時間的モデリングを用いていないにもかかわらず、時間平均プーリングのみを用いても、CLIPERは強力なDFER性能を達成しており、優れた特徴表現能力を示した。
• 学習済みMETDトークンの類似語の完全リストから、モデルが「怒り」に対して「唸りを立てる」や「幸せ」に対して「親切さ」のような多様な意味的表現を捉えていることが確認された。