[论文解读] A transformer-based approach to video frame-level prediction in Affective Behaviour Analysis In-the-wild

Dang-Khanh Nguyen, Ngoc-Huynh Ho+2 more|arXiv (Cornell University)|Mar 16, 2023

Emotion and Mood Recognition被引用 8

一句话总结

该论文提出一种基于Transformer的模型，用于极端情境下的逐帧情感分类，在Aff-Wild2验证集上的ABIA竞赛中获得0.4775分。

ABSTRACT

In recent years, transformer architecture has been a dominating paradigm in many applications, including affective computing. In this report, we propose our transformer-based model to handle Emotion Classification Task in the 5th Affective Behavior Analysis In-the-wild Competition. By leveraging the attentive model and the synthetic dataset, we attain a score of 0.4775 on the validation set of Aff-Wild2, the dataset provided by the organizer.

研究动机与目标

• 在野外情境中推动使用Transformer架构进行逐帧情感计算。
• 利用合成数据集训练逐帧情感分类器。
• 在竞赛组织方提供的Aff-Wild2验证集上评估模型。

提出的方法

• 提出用于野外情感行为分析的逐帧预测的Transformer基模型。
• 利用注意力机制处理视频帧序列。
• 在合成数据集上进行训练，在Aff-Wild2验证数据上进行评估。
• 旨在提升ABIA第5届竞赛中情感分类任务的性能。

实验结果

研究问题

• RQ1 Transformer基架构是否能够在野外视频数据中有效执行逐帧情感分类？
• RQ2 使用合成数据集对ABIA情感分类任务的性能有何影响？
• RQ3 在所提出框架下，Aff-Wild2上的验证性能可以达到怎样的水平？

主要发现

• 在Aff-Wild2上实现0.4775的验证分数。
• 证明了带注意力的Transformer模型在逐帧情感预测中的有效性。
• 在使用合成训练数据的情况下，在ABIA第5届竞赛设置中表现具有竞争力。