[논문 리뷰] Intensity-Aware Loss for Dynamic Facial Expression Recognition in the Wild

Hanting Li, Hongjing Niu외 2명|arXiv (Cornell University)|2022. 08. 19.

Emotion and Mood Recognition인용 수 5

한 줄 요약

이 논문은 야외 환경에서의 동적 표정 인식(DFER)을 향상시키기 위해 새로운 강도 인식 손실(IAL)과 글로벌 컨볼루션-어텐션 블록(GCA)을 제안한다. 저강도 표정은 일반적으로 클래스 간 차이가 작고 클래스 내 차이가 커서 잘못 분류되기 쉬운데, GCA는 저강도 샘플의 특징을 강화하면서 관련이 없는 채널을 억제하고, IAL은 어려운 분류가 필요한 저강도 시퀀스에 집중하여 DFEW 및 FERV39k 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Compared with the image-based static facial expression recognition (SFER) task, the dynamic facial expression recognition (DFER) task based on video sequences is closer to the natural expression recognition scene. However, DFER is often more challenging. One of the main reasons is that video sequences often contain frames with different expression intensities, especially for the facial expressions in the real-world scenarios, while the images in SFER frequently present uniform and high expression intensities. However, if the expressions with different intensities are treated equally, the features learned by the networks will have large intra-class and small inter-class differences, which is harmful to DFER. To tackle this problem, we propose the global convolution-attention block (GCA) to rescale the channels of the feature maps. In addition, we introduce the intensity-aware loss (IAL) in the training process to help the network distinguish the samples with relatively low expression intensities. Experiments on two in-the-wild dynamic facial expression datasets (i.e., DFEW and FERV39k) indicate that our method outperforms the state-of-the-art DFER approaches. The source code will be made publicly available.

연구 동기 및 목표

• 다양한 표정 강도로 인해 발생하는 야외 환경에서의 동적 표정 인식(DFER) 모델의 잘못된 분류 문제를 해결하기 위해.
• 저강도 표정의 특징을 강화함으로써 클래스 내 분산을 줄이고 클래스 간 간격을 증가시키기 위해.
• 기존 DFER 모델에 쉽게 통합할 수 있는 플러그 앤 플레이 모듈(GCA)을 개발하여 저강도 시퀀스에 대한 관련 특징을 우선순위로 배치하기 위해.
• 학습 중에 분류가 어려운 저강도 샘플을 명시적으로 대상으로 삼는 새로운 손실 함수(IAL)를 제안하기 위해.
• 강도 레이블이 필요 없이 실제 야외 DFER 데이터셋에서의 성능을 입증하기 위해.

제안 방법

• 글로벌 컨볼루션-어텐션(GCA) 블록은 채널 별 정보를 집계하고 특징 맵을 재스케일링하여 저강도 표정에 관련된 채널을 강화하고 덜 중요한 채널은 억제한다.
• GCA는 기존 DFER 모델에 아키텍처를 대체하지 않고도 쉽게 통합할 수 있는 플러그 앤 플레이 모듈로 설계되었다.
• 강도 인식 손실(IAL)은 낮은 신뢰도로 예측된 샘플의 손실 가중치를 높게 설정하도록 구성되며, 특히 저강도 표정에 집중한다.
• IAL은 예측 신뢰도를 분석하여 분류가 어려운 샘플을 식별하고, 각 저강도 시퀀스에 대해 가장 혼동의 여지가 있는 클래스에 네트워크가 집중하도록 유도한다.
• GCA는 백본 네트워크에 삽입되어 특징 표현을 정교화하고, 교차 엔트로피 손실과 IAL을 함께 사용하여 엔드 투 엔드로 학습된다.
• 이 방법은 동적 샘플링과 표준 평가 프로토콜을 사용하여 두 가지 야외 DFER 벤치마크(DFEW 및 FERV39k)에서 평가된다.

실험 결과

연구 질문

• RQ1 실제 영상 시퀀스에서의 표정 강도 변동은 이산 레이블 DFER 모델의 성능에 어떤 영향을 미치는가?
• RQ2 강도 레이블이 없이도 학습 가능한 어텐션 메커니즘이 저강도 표정의 특징 표현을 향상시킬 수 있는가?
• RQ3 어려운 분류가 필요한 저강도 샘플에 초점을 맞춘 손실 함수는 DFER에서 클래스 간 분리도를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 GCA 블록은 저강도 표정의 특징을 효과적으로 강화하면서 관련 없는 채널을 억제하는가?
• RQ5 IAL과 GCA의 조합이 야외 DFER 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DFEW 데이터셋에서 제안된 GCA+IAL 방법은 가중 평균 재현율(WAR) 69.24%를 기록하여 이전 최고 성능 모델(NR-DFERNet)을 1.05%p 뛰어넘었다.
• FERV39k 데이터셋에서 방법은 WAR 48.54%를 달성하여 이전 최고 성능 결과(Former-DFER)를 1.34%p 초월했다.
• 시각화 결과는 저강도 및 중립 표정의 특징가 더 이상 비중립 클래스의 중심에 집중되어 있지 않음을 보여주어 클래스 간 분리도 향상됨을 시사한다.
• t-SNE 시각화는 제안된 방법이 특히 '중립'과 '놀람' 클래스에 대해 더 분류 가능한 특징을 학습함을 확인한다. 이는 저강도 상황에서 자주 혼동되는 클래스들이다.
• 제거 실험 결과, GCA와 IAL 모두 성능 향상에 기여하며, 특히 IAL이 어려운 분류가 필요한 샘플의 인식을 향상시키는 데 뛰어난 효과를 보였다.
• DFEW 및 FERV39k에서 여러 지표에서 최신 기술 수준의 성능를 달성하여, 실제 환경에서의 강건성과 일반화 능력을 확인하였다.