[논문 리뷰] From Static to Dynamic: Adapting Landmark-Aware Image Models for Facial Expression Recognition in Videos

Yin Chen, Jia Li외 3명|arXiv (Cornell University)|2023. 12. 09.

Emotion and Mood Recognition인용 수 4

한 줄 요약

이 논문은 시간적 모델링 어댑터(TMAs)와 새로운 감정 앵커 기반 자기지식 손실(SDL)을 통합하여 사전 훈련된 랜드마크 인식 이미지 모델을 동적 얼굴 표정 인식(DFER)에 적응시키는 파rameter 효율적인 프레임워크인 S2D를 제안한다. 이 방법은 DFEW에서 10% 미만의 추가 학습 가능한 파라미터로 최신 기술 수준(SOTA) 성능을 달성하며, 랜드마크 기반 특징을 통해 애매한 레이블에 대한 강건성과 시간적 동적 특징 모델링을 크게 향상시킨다.

ABSTRACT

Dynamic facial expression recognition (DFER) in the wild is still hindered by data limitations, e.g., insufficient quantity and diversity of pose, occlusion and illumination, as well as the inherent ambiguity of facial expressions. In contrast, static facial expression recognition (SFER) currently shows much higher performance and can benefit from more abundant high-quality training data. Moreover, the appearance features and dynamic dependencies of DFER remain largely unexplored. To tackle these challenges, we introduce a novel Static-to-Dynamic model (S2D) that leverages existing SFER knowledge and dynamic information implicitly encoded in extracted facial landmark-aware features, thereby significantly improving DFER performance. Firstly, we build and train an image model for SFER, which incorporates a standard Vision Transformer (ViT) and Multi-View Complementary Prompters (MCPs) only. Then, we obtain our video model (i.e., S2D), for DFER, by inserting Temporal-Modeling Adapters (TMAs) into the image model. MCPs enhance facial expression features with landmark-aware features inferred by an off-the-shelf facial landmark detector. And the TMAs capture and model the relationships of dynamic changes in facial expressions, effectively extending the pre-trained image model for videos. Notably, MCPs and TMAs only increase a fraction of trainable parameters (less than +10\%) to the original image model. Moreover, we present a novel Emotion-Anchors (i.e., reference samples for each emotion category) based Self-Distillation Loss to reduce the detrimental influence of ambiguous emotion labels, further enhancing our S2D. Experiments conducted on popular SFER and DFER datasets show that we achieve the state of the art.

연구 동기 및 목표

• 제한적이고 애매하며 다양성이 떨어지는 비디오 데이터로 인해 정적(SFER)과 동적(DFER) 얼굴 표정 인식 간 성능 격차를 해소하기 위해.
• 풍부하고 고도로 품질이 높은 SFER 데이터셋과 사전 훈련된 이미지 모델을 DFER에 대한 사전 지식으로 활용하기 위해.
• 초기 재학습 없이 경량 어댑터를 사용하여 시간적 동적 특징을 효과적으로 모델링하기 위해.
• 감정 앵커를 활용한 새로운 자기지식 손실을 통해 감정 예측의 불확실성과 애매함을 줄이기 위해.
• 기존 방법보다 뛰어난 성능을 내며 최소한의 계산 오버헤드로 파라미터 효율적이고 실용적인 DFER 프레임워크를 개발하기 위해.

제안 방법

• 멀티뷰 보완 프롬프터(MCPs)를 갖춘 사전 훈련된 비전 트랜스포머(ViT)를 SFER 데이터에 맞추어 조정하여 랜드마크 인식 외관 특징을 향상시킨다.
• 시간적 모델링 어댑터(TMAs)를 이미지 모델에 삽입하여 비디오 클립의 순차적 동적 특징을 캡처하고, 엔드 투 엔드 비디오 수준의 학습을 가능하게 한다.
• MCPs가 사전 훈련된 검출기(MobileFaceNet)로부터 얻은 얼굴 랜드마크 특징을 통합하여 외관 표현에 기하학적 얼굴 구조를 풍부하게 한다.
• 감정 앵커 기반 자기지식 손실(SDL)은 감정 카테고리별 기준 샘플을 사용해 소프트 레이블을 생성하여, 애매한 표정에서 모델의 불확실성을 감소시킨다.
• 기본 이미지 모델 대비 약 10%의 추가 학습 가능한 파라미터만을 사용하여 S2D 프레임워크를 엔드 투 엔드로 훈련한다.
• t-SNE와 주의력 시각화를 통해 특징의 구분 능력과 시간적 주의 패턴을 분석하여, 모델이 동적 변화를 캡처하는 능력을 검증한다.

실험 결과

연구 질문

• RQ1 최소한의 파라미터 업데이트로 사전 훈련된 랜드마크 인식 이미지 모델을 비디오 기반 얼굴 표정 인식에 효과적으로 적응시킬 수 있는가?
• RQ2 가벼운 방식으로 시간적 동적 특징을 효과적으로 모델링할 수 있는가?
• RQ3 감정 앵커를 활용한 자기지식이 DFER 데이터셋의 애매한 감정 레이블 영향을 어느 정도 줄일 수 있는가?
• RQ4 정적 SFER 지식과 동적 비디오 모델링의 통합이 자연계 DFER 벤치마크에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ5 기존 SOTA 방법에 비해 제안된 방법은 파라미터 효율성과 성능 측면에서 어떻게 비교되는가?

주요 결과

• S2D는 DFEW 테스트 세트에서 새로운 최고 성능을 기록한 가중 평균 재현율(WAR) 78.9%를 달성하여, MAE-DFER와 DFER-CLIP를 포함한 기존 방법들을 압도한다.
• 이 성능는 데스크톱 이미지 모델 대비 900만 개의 조정 가능한 파라미터만을 사용하여 달성되었으며, 이는 10% 미만의 증가에 해당한다.
• TMAs의 통합은 t-SNE 시각화를 통해 특징의 구분 능력 향상을 뚜렷이 보여주며, 더 조밀하고 분리 가능한 특징 클러스터를 형성한다.
• SDL 모듈은 예측의 애매함을 감소시킨다: 예를 들어, 애매한 경우 '행복'과 '중립' 간 신뢰도 차이를 0.02에서 0.23으로 증가시킨다.
• 주의력 시각화 결과는 모델이 시간에 따라 얼굴 부위(눈, 입)를 동적으로 주의를 기울이며 근육 움직임의 변화를 캡처함을 확인한다.
• 데이터 부족에도 불구하고 '역겨움'과 '공포'와 같은 희귀 클래스에 대해 성능 향상을 보였지만, 여전히 샘플 수 부족으로 인해 도전 과제로 남아 있다.