[論文レビュー] A transformer-based approach to video frame-level prediction in Affective Behaviour Analysis In-the-wild

Dang-Khanh Nguyen, Ngoc-Huynh Ho+2 more|arXiv (Cornell University)|Mar 16, 2023

Emotion and Mood Recognition被引用数 8

ひとこと要約

論文はAff-Wild2の検証で0.4775を達成したAffective Behavior Analysis In-the-wildにおけるフレームレベル感情分類のためのTransformerベースモデルを提示します。

ABSTRACT

In recent years, transformer architecture has been a dominating paradigm in many applications, including affective computing. In this report, we propose our transformer-based model to handle Emotion Classification Task in the 5th Affective Behavior Analysis In-the-wild Competition. By leveraging the attentive model and the synthetic dataset, we attain a score of 0.4775 on the validation set of Aff-Wild2, the dataset provided by the organizer.

研究の動機と目的

• 野外設定におけるフレームレベルの情動計算のためにTransformerアーキテクチャの利用を動機づける。
• フレームレベルの感情分類器を訓練するために合成データセットを活用する。
• 競技主催者が提供するAff-Wild2検証セットでモデルを評価する。

提案手法

• 野外行動分析におけるフレームレベル予測のためのTransformerベースモデルを提案する。
• ビデオフレーム列を処理するためのアテンティブ機構を活用する。
• 合成データセットで訓練しAff-Wild2検証データで評価する。
• ABIA第5競技会における感情分類タスクの性能向上を目指す。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのアーキテクチャは野外動画データでフレームレベルの感情分類を効果的に行えるか。
• RQ2 合成データセットの利用がABIA感情分類タスクの性能に与える影響は何か。
• RQ3 提案フレームワークでAff-Wild2の検証性能はいくら達成できるか。

主な発見

• Aff-Wild2で検証スコア0.4775を達成。
• フレームレベルの感情予測に対するアテンティブなTransformerモデルの有効性を示す。
• 合成訓練データを使用した場合、ABIA第5競技会の設定内で競争力のある結果を示す。