[論文レビュー] Prompting Visual-Language Models for Dynamic Facial Expression Recognition

Zengqun Zhao, Ioannis Patras|arXiv (Cornell University)|Aug 25, 2023

Advanced Computing and Algorithms被引用数 6

ひとこと要約

本稿では、Transformerエンコーダーによる時系列モデリングと大規模言語モデルが生成する詳細なテキスト記述を統合することで、実環境における動的顔面表情認識を向上させる視覚言語モデル、DFER-CLIPを提案する。この手法は、DFEW、FERV39k、MAFWベンチマークで最先端の性能を達成し、MAFWでは51.65%の重み付き正答率を記録し、DFEWでは先行手法よりも2.05%高いUARを達成した。

ABSTRACT

This paper presents a novel visual-language model called DFER-CLIP, which is based on the CLIP model and designed for in-the-wild Dynamic Facial Expression Recognition (DFER). Specifically, the proposed DFER-CLIP consists of a visual part and a textual part. For the visual part, based on the CLIP image encoder, a temporal model consisting of several Transformer encoders is introduced for extracting temporal facial expression features, and the final feature embedding is obtained as a learnable "class" token. For the textual part, we use as inputs textual descriptions of the facial behaviour that is related to the classes (facial expressions) that we are interested in recognising -- those descriptions are generated using large language models, like ChatGPT. This, in contrast to works that use only the class names and more accurately captures the relationship between them. Alongside the textual description, we introduce a learnable token which helps the model learn relevant context information for each expression during training. Extensive experiments demonstrate the effectiveness of the proposed method and show that our DFER-CLIP also achieves state-of-the-art results compared with the current supervised DFER methods on the DFEW, FERV39k, and MAFW benchmarks. Code is publicly available at https://github.com/zengqunzhao/DFER-CLIP.

研究の動機と目的

• 実環境における微細で動的な顔面表情を認識する際の、従来の視覚言語モデルの限界を解消すること。
• 単なるクラス名に依存するのではなく、顔の行動に関する詳細なテキスト記述を組み込むことで、動的顔面表情の表現学習を向上させること。
• CLIP画像エンコーダーの上に、一連のTransformerエンコーダーを用いて顔面表情の時系列モデリングを強化すること。
• 学習可能なコンテキストトークンをLLMが生成する記述と組み合わせることで、より良い表情の識別を実現すること。
• 分類器ヘッドを必要とせず、テキストプロンプトによるゼロショットおよびフェイワショット適応を可能にする、手作業によるプロンプト設計を最小限に抑えた、実環境向けDFERベンチマークで最先端の性能を達成すること。

提案手法

• 視覚エンコーダーは、CLIPの画像エンコーダーに、動画フレーム間の時系列ダイナミクスをモデル化するためのTransformerエンコーダーのスタックを追加し、最終的なクラストークンをビデオレベルの埋め込みとして使用する。
• テキストエンコーダーは、各感情クラスに関連する顔の行動のLLM生成記述（例：「笑顔で頬が上がっていて、目が細くなっている」を「幸せ」に対して）を用い、単純なクラス名に置き換える。
• 各テキスト記述の前に、学習可能なクラス固有のコンテキストトークンを導入し、訓練中に関連する意味的コンテキストに注目できるようにする。
• 視覚的埋め込みと対応するテキスト記述を一致させるために、対照学習を用いてエンドツーエンドでモデルを訓練する。
• プロンプト設計では、LLMが生成する記述をテキスト入力の最後に配置し、学習可能なコンテキストトークンをその前に配置することで、より良い特徴一致を実現する。
• 分類器ヘッドを必要とせず、テキストプロンプトによるアプローチをサポートするため、ゼロショットおよびフェイワショット適応が可能である。

Figure 1: Illustration of the (a) previous approach for DFER, which relies on a classifier to predict the facial expression label. (b) Standard vision-language model CLIP. (c) Based on the CLIP, we propose a DFER-CLIP, which further models temporal facial features and incorporates fine-grained descr

実験結果

リサーチクエスチョン

• RQ1 単なるクラス名と比較して、LLMが生成する行動ベースのテキスト記述は、動的顔面表情認識における視覚言語の整合性を向上させるか？
• RQ2 Transformerベースの時系列モデリングヘッドの統合は、動画シーケンスにおける顔面ダイナミクスの表現をどのように向上させるか？
• RQ3 学習可能なコンテキストトークンの使用は、特にクラス数に偏りがあるデータセットにおいて、モデルの性能と一般化能力を向上させるか？
• RQ4 提案されたDFER-CLIPモデルは、複数の実環境ベンチマークにおけるUARとWARの観点で、最先端の手法と比較してどう異なるか？
• RQ5 性能を最大化するための最適なプロンプト設定（例：記述の配置、共有 vs. クラス固有のコンテキスト）は何か？

主な発見

• DFER-CLIPはMAFWベンチマークで51.65%の重み付き正答率を達成し、以前の最先端手法よりもWARで4.37%高い性能を示した。
• DFEWでは59.61%のUARを達成し、以前の最良手法よりも2.05%高い性能を示した。
• FERV39kでは71.25%のUARと51.65%のWARを達成し、それぞれ前回の最先端手法と比較して0.04%および0.41%の向上を示した。
• アブレーションスタディの結果、LLMが生成する記述をプロンプトの最後に配置し、クラス固有の学習可能なコンテキストを使用すると、最も高い性能が得られることを確認した。
• 特にMAFWのようなクラスに偏りがあるデータセットにおいて、手作業で設計されたプロンプト（例：「[クラス]の写真」や「[クラス]の表情」）よりも、LLM生成記述と学習可能なコンテキストトークンの組み合わせが優れていることが示された。
• LLM生成記述に学習可能なコンテキストトークンを組み合わせることで、ベースラインプロンプトに比べて一貫して性能が向上し、詳細なテキスト監視の有効性が裏付けられた。

Figure 2: The structure of the proposed DFER-CLIP model. cos() denotes cosine similarity. M denotes the learnable context number. C denotes expression classes.