[논문 리뷰] Prompting Visual-Language Models for Dynamic Facial Expression Recognition

Zengqun Zhao, Ioannis Patras|arXiv (Cornell University)|2023. 08. 25.

Advanced Computing and Algorithms인용 수 6

한 줄 요약

이 논문은 DFER-CLIP를 제안하며, Transformer 인코더를 통한 시계열 모델링과 대규모 언어 모델이 생성한 세분화된 텍스트 기술을 통합함으로써 실외 환경에서의 동적 표정 인식을 향상시키는 시각-언어 모델을 개발한다. 이 방법은 DFEW, FERV39k, MAFW 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, MAFW에서 51.65%의 가중 정확도를 기록하고 DFEW에서 이전 방법보다 2.05% 향상된 UAR을 달성하였다.

ABSTRACT

This paper presents a novel visual-language model called DFER-CLIP, which is based on the CLIP model and designed for in-the-wild Dynamic Facial Expression Recognition (DFER). Specifically, the proposed DFER-CLIP consists of a visual part and a textual part. For the visual part, based on the CLIP image encoder, a temporal model consisting of several Transformer encoders is introduced for extracting temporal facial expression features, and the final feature embedding is obtained as a learnable "class" token. For the textual part, we use as inputs textual descriptions of the facial behaviour that is related to the classes (facial expressions) that we are interested in recognising -- those descriptions are generated using large language models, like ChatGPT. This, in contrast to works that use only the class names and more accurately captures the relationship between them. Alongside the textual description, we introduce a learnable token which helps the model learn relevant context information for each expression during training. Extensive experiments demonstrate the effectiveness of the proposed method and show that our DFER-CLIP also achieves state-of-the-art results compared with the current supervised DFER methods on the DFEW, FERV39k, and MAFW benchmarks. Code is publicly available at https://github.com/zengqunzhao/DFER-CLIP.

연구 동기 및 목표

• 기존의 시각-언어 모델이 실외 환경에서 미묘하고 동적인 표정을 인식하는 데에 한계가 있음을 해결하기 위해.
• 순수하게 클래스 이름에 의존하는 것 외에도 표정 행동의 세분화된 텍스트 기술을 통합하여 동적 표정의 표현 학습을 향상시키기 위해.
• CLIP 이미지 인코더 위에 배치된 일련의 Transformer 인코더를 사용하여 표정의 시계열 모델링을 향상시키기 위해.
• 학습 중에 관련 의미적 맥락에 주의를 기울일 수 있도록, LLM이 생성한 기술과 함께 가용 가능한 맥락 토큰을 사용하여 표현 구분 능력을 향상시키기 위해.
• 광범위한 수동 프롬프트 엔지니어링 없이도 실외 DFER 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 시각 인코더는 CLIP의 이미지 인코더에 시계열 다이나믹스를 모델링하기 위한 Transformer 인코더 스택을 추가하여 영상 프레임 간의 시간적 동역학을 처리하며, 최종 클래스 토큰을 영상 수준의 임베딩으로 사용한다.
• 텍스트 인코더는 각 감정 클래스와 관련된 표면 행동의 LLM 기반 기술(예: 행복에 대해 '올라간 볼과 찌그러진 눈을 가진 미소')을 사용하여 단순한 클래스 이름을 대체한다.
• 모델이 학습 중에 관련 의미적 맥락에 주의를 기울일 수 있도록, 각 텍스트 기술 앞에 학습 가능한 클래스별 맥락 토큰을 도입한다.
• 비슷한 시각적 임베딩과 텍스트 기술 간의 정렬을 위해 대비 학습을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 프롬프트 설계는 LLM이 생성한 기술을 텍스트 입력의 끝에 두며, 학습 가능한 맥락 토큰은 이를 앞서 배치하여 더 나은 특징 정렬을 가능하게 한다.
• 분류기 헤드 없이도 프롬프트 엔지니어링을 지원하여, 텍스트 프롬프팅을 통한 제로샷 및 피кс샷 적응이 가능하다.

Figure 1: Illustration of the (a) previous approach for DFER, which relies on a classifier to predict the facial expression label. (b) Standard vision-language model CLIP. (c) Based on the CLIP, we propose a DFER-CLIP, which further models temporal facial features and incorporates fine-grained descr

실험 결과

연구 질문

• RQ1 단순한 클래스 이름에 비해 LLM이 생성한 행동 기반 텍스트 기술이 동적 표정 인식을 위한 시각-언어 정렬에 향상 효과를 미치는가?
• RQ2 Transformer 기반의 시계열 모델링 헤드 통합이 영상 시퀀스 내 표면 역학의 표현을 어떻게 향상시키는가?
• RQ3 학습 가능한 맥락 토큰의 사용이 다양한 표정 클래스, 특히 불균형 데이터셋에서의 성능 향상과 일반화 능력 향상에 기여하는가?
• RQ4 제안된 DFER-CLIP 모델은 다양한 실외 벤치마크에서 UAR 및 WAR 측면에서 최신 기술 수준의 방법과 비교해 어떻게 성능을 내는가?
• RQ5 최적의 프롬프트 구성(예: 기술의 위치, 공유 또는 클래스별 맥락)은 성능을 극대화하는 데 어떤가?

주요 결과

• MAFW 벤치마크에서 DFER-CLIP는 51.65%의 가중 정확도를 기록하였으며, 이는 이전 최신 기술 수준 방법보다 WAR 측면에서 4.37% 향상된 성능이다.
• DFEW에서 모델은 59.61%의 UAR을 달성하여 이전 최고 성능 방법보다 2.05% 향상되었다.
• FERV39k에서 모델은 71.25%의 UAR과 51.65%의 WAR를 기록하였으며, 이는 이전 최신 기술 수준보다 각각 0.04%와 0.41% 향상된 성능이다.
• 제거 실험 결과, LLM이 생성한 기술을 프롬프트 끝에 두고 클래스별 학습 가능한 맥락을 사용할 경우가 가장 높은 성능을 내는 것으로 확인되었다.
• 특히 MAFW와 같이 불균형 데이터셋에서 수동으로 설계된 프롬프트인 '사진 한 장의 [클래스]' 또는 '표정의 [클래스]'보다 성능이 뛰어나다.
• 학습 가능한 맥락 토큰과 함께 LLM이 생성한 기술을 사용할 경우, 기본 프롬프트에 비해 일관되게 성능 향상이 이루어지며, 세분화된 텍스트 지도의 효과를 입증한다.

Figure 2: The structure of the proposed DFER-CLIP model. cos() denotes cosine similarity. M denotes the learnable context number. C denotes expression classes.