[논문 리뷰] A transformer-based approach to video frame-level prediction in Affective Behaviour Analysis In-the-wild

Dang-Khanh Nguyen, Ngoc-Huynh Ho외 2명|arXiv (Cornell University)|2023. 03. 16.

Emotion and Mood Recognition인용 수 8

한 줄 요약

논문은 Affective Behavior Analysis In-the-wild에서 프레임 수준 감정 분류를 위한 트랜스포머 기반 모델을 제시하며 Aff-Wild2 검증에서 0.4775를 달성한다.

ABSTRACT

In recent years, transformer architecture has been a dominating paradigm in many applications, including affective computing. In this report, we propose our transformer-based model to handle Emotion Classification Task in the 5th Affective Behavior Analysis In-the-wild Competition. By leveraging the attentive model and the synthetic dataset, we attain a score of 0.4775 on the validation set of Aff-Wild2, the dataset provided by the organizer.

연구 동기 및 목표

• 프레임 수준 감정Computing을 위하여 야생 설정에서 트랜스포머 아키텍처의 사용을 동기화한다.
• 합성 데이터셋을 활용하여 프레임 수준 감정 분류기를 학습한다.
• 대회 주최측이 제공한 Aff-Wild2 검증 세트에서 모델을 평가한다.

제안 방법

• 야생에서의 정서 행동 분석을 위한 프레임 수준 예측에 트랜스포머 기반 모델을 제안한다.
• 비디오 프레임 시퀀스를 처리하기 위해 주의 메커니즘(attentive mechanisms)을 활용한다.
• 합성 데이터셋으로 학습하고 Aff-Wild2 검증 데이터에서 평가한다.
• ABIA 5번째 대회에서 정서 분류 작업 성능을 향상시키는 것을 목표로 한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 야생 비디오 데이터의 프레임 수준 감정 분류를 효과적으로 수행할 수 있는가?
• RQ2 합성 데이터셋을 사용하는 것이 ABIA 감정 분류 작업의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 프레임워크로 Aff-Wild2에서 어떤 검증 성능을 달성할 수 있는가?

주요 결과

• Aff-Wild2에서 검증 점수 0.4775를 달성한다.
• 프레임 수준 정서 예측을 위한 주의(attentive) 트랜스포머 모델의 효과를 입증한다.
• 합성 학습 데이터를 사용한 ABIA 5번째 대회 설정에서 경쟁력 있는 결과를 보여준다.