[논문 리뷰] MAFW: A Large-scale, Multi-modal, Compound Affective Database for Dynamic Facial Expression Recognition in the Wild

Yuanyuan Liu, Wei Dai외 5명|arXiv (Cornell University)|2022. 08. 01.

Emotion and Mood Recognition인용 수 4

한 줄 요약

이 논문은 10,045개의 영상-음성 클립을 복합 감정과 정서적 행동에 대해 주석 처리한 대규모, 실외 환경에서의 다중모달 데이터베이스인 MAFW를 소개한다. 또한, 다중 모달 간의 표정 변화 관계를 활용하여 동적 얼굴 표정 인식 성능을 향상시키는 새로운 트랜스포머 기반 방법 T-ESFL을 제안하며, 단일 및 다중 모달 FER 과제에서 최신 기술을 초월한다.

ABSTRACT

Dynamic facial expression recognition (FER) databases provide important data support for affective computing and applications. However, most FER databases are annotated with several basic mutually exclusive emotional categories and contain only one modality, e.g., videos. The monotonous labels and modality cannot accurately imitate human emotions and fulfill applications in the real world. In this paper, we propose MAFW, a large-scale multi-modal compound affective database with 10,045 video-audio clips in the wild. Each clip is annotated with a compound emotional category and a couple of sentences that describe the subjects' affective behaviors in the clip. For the compound emotion annotation, each clip is categorized into one or more of the 11 widely-used emotions, i.e., anger, disgust, fear, happiness, neutral, sadness, surprise, contempt, anxiety, helplessness, and disappointment. To ensure high quality of the labels, we filter out the unreliable annotations by an Expectation Maximization (EM) algorithm, and then obtain 11 single-label emotion categories and 32 multi-label emotion categories. To the best of our knowledge, MAFW is the first in-the-wild multi-modal database annotated with compound emotion annotations and emotion-related captions. Additionally, we also propose a novel Transformer-based expression snippet feature learning method to recognize the compound emotions leveraging the expression-change relations among different emotions and modalities. Extensive experiments on MAFW database show the advantages of the proposed method over other state-of-the-art methods for both uni- and multi-modal FER. Our MAFW database is publicly available from https://mafw-database.github.io/MAFW.

연구 동기 및 목표

• 기존의 동적 얼굴 표정 데이터베이스가 기본적이고 상호 배타적인 감정만을 사용하고 단일 모달에 국한된 한계를 해결하기 위해.
• 실생활 정서 복잡성을 반영한 복합 감정 주석이 있는 대규모, 실외 환경에서의 다중모달 데이터베이스를 구축하기 위해.
• 시각, 청각, 텍스처 모달 간의 표정 변화 다이내믹스를 모델링하여 복합 감정 인식을 위한 강력한 방법을 개발하기 위해.
• 고품질의 다중모달 및 맥락 기반 데이터를 제공하여 정서 컴퓨팅 분야의 새로운 연구를 가능하게 하기 위해.

제안 방법

• 10,045개의 영상-음성 클립과 20,000개의 텍스처 정서 캡션을 포함한 대규모, 실외 환경에서의 다중모달 데이터베이스인 MAFW를 제안한다.
• 신뢰도가 떨어지는 주석을 걸러내기 위해 기대값 최대화(EM) 알고리즘을 사용하여 11개의 단일 레이블 및 32개의 다중 레이블 감정 카테고리로 도출한다.
• 다양한 모달 간의 표정 변화 관계를 모델링하는 새로운 트랜스포머 기반의 표현 스니펫 특징 학습(T-ESFL) 방법을 도입한다.
• 시각적 특징 학습을 위해 스니펫 기반 트랜스포머와 공간-스펙트럼 순서 복원(SSOR)을 활용하고, 청각 모달은 ResNet_LSTM을, 텍스처 모달은 DPCNN를 사용한다.
• 모달 별 특징를 연결하여 다중모달 감정 표현을 구성한다.
• 교차 엔트로피 손실과 스니펫 순서 복원 손실을 조합한 공동 목적 함수를 사용하여 시간적 다이내믹스 모델링을 향상시킨다.

실험 결과

연구 질문

• RQ1 복합 감정 주석이 있는 대규모, 실외 환경에서의 다중모달 데이터베이스는 동적 얼굴 표정 인식의 현실성과 복잡성을 향상시키는가?
• RQ2 제안된 T-ESFL 방법은 단일 및 다중 모달 환경에서 최신 기술 대비 복합 감정 인식 성능을 얼마나 효과적으로 향상시키는가?
• RQ3 다양한 모달 간의 표정 변화 관계는 동적 FER에서 성능 향상에 얼마나 기여하는가?
• RQ4 MAFW 데이터베이스는 고품질의 맥락 기반 기술 설명을 제공하여 영상 정서 캡션 생성과 같은 후행 작업을 지원할 수 있는가?

주요 결과

• 제안된 T-ESFL 방법은 MAFW 데이터셋에서 단일 및 다중 모달 동적 얼굴 표정 인식 과제에서 최신 기술을 초월하는 최상의 성능을 달성한다.
• 일반적인 모델을 사용한 영상 정서 캡션 생성에서 BLEU-4는 9.09, METEOR는 15.49, CIDEr는 23.40를 기록하여 MAFW가 자연어 생성 과제에 유용함을 입증한다.
• EM 기반 필터링 과정은 주석 노이즈를 효과적으로 감소시켜 신뢰도가 높은 11개의 단일 레이블 및 32개의 다중 레이블 감정 카테고리로 도출했다.
• 정성적 분석 결과, 모델이 생성한 정서 캡션은 참값과 잘 일치하며 미묘한 정서적 행동과 맥락적 단서를 잘 포착하고 있음을 확인했다.
• MAFW 데이터베이스는 https://mafw-database.github.io/MAFW 에 공개되어 있어 정서 컴퓨팅 분야의 보다 넓은 연구를 가능하게 한다.
• 데이터셋은 인구 통계적 편향이 최소화되어 있으며, 성별 통계는 CelebA에서 유추되었고, 데이터 분포 분석에만 사용되었으며, 모델 훈련에는 사용되지 않았다.