[論文レビュー] The Affect Game AnnotatIoN (AGAIN) Dataset.

Dávid Melhárt, Antonios Liapis+1 more|arXiv (Cornell University)|Apr 6, 2021

Emotion and Mood Recognition参考文献 64被引用数 10

ひとこと要約

Affect Game AnnotatIoN (AGAIN) データセットは、9つの異なるゲームから得た1,100以上のインゲーム動画クリップを含む大規模かつ多様な感情的コロナスを提供する。124名の参加者による連続的な第一人称の覚醒度のアノテーションが付加されている。このデータセットにより、異種のインタラクティブタスクにわたる汎用的な感情表現の研究が可能となり、リアルタイムで相互作用する環境における動的な感情をモデル化するための37時間以上のアノテート済みプレイデータを提供する。

ABSTRACT

How can we model affect in a general fashion, across dissimilar tasks, and to which degree are such general representations of affect even possible? To address such questions and enable research towards general affective computing this paper introduces the Affect Game AnnotatIoN (AGAIN) dataset. AGAIN is a large-scale affective corpus that features over 1,100 in-game videos (with corresponding gameplay data) from nine different games, which are annotated for arousal from 124 participants in a first-person continuous fashion. Even though AGAIN is created for the purpose of investigating the generality of affective computing across dissimilar tasks, affect modelling can be studied within each of its 9 specific interactive games. To the best of our knowledge AGAIN is the largest - over 37 hours of annotated video and game logs - and the most diverse publicly available affective dataset based on games as interactive affect elicitors.

研究の動機と目的

• 異なるインタラクティブタスクにわたる汎用的な感情表現の可能性を検証すること。
• インタラクティブなビデオゲームから得られる大規模で多様かつ連続的な感情データセットの不足を是正すること。
• リアルタイムで没入型の環境における動的な感情を研究するための公開可能でスケーラブルなリソースを提供すること。
• 感情コンピューティングにおけるタスク固有の境界を越えて、感情モデリングに関する研究を可能にすること。

提案手法

• タスクの多様性を確保するため、9つの異なるビデオゲームからインゲーム動画とプレイログを収集する。
• 参加者がプレイクリップを視聴しながらスライダインタフェースを用いて連続的な第一人称の覚醒度評価を提供する。
• 124名の参加者からのアノテーションにより、高い評価者間信頼性と時間的分解能を確保する。
• マルチモーダルな感情モデリングを支援するため、動画、音声、ゲームログデータを統合する。
• 感情の強度の多様な範囲とゲームメカニクスを含めるようにデータをキュレートし、表現の多様性を高める。
• 全コーパスは37時間以上のアノテート済みの動画とゲームログをカバーしており、インタラクティブゲームに基づく最大の公開可能な感情データセットである。

実験結果

リサーチクエスチョン

• RQ1 ビデオゲームにおける異なるインタラクティブタスクにわたって、感情表現をどの程度一般化できるか。
• RQ2 多様なプレイ体験と参加者にわたって、連続的な覚醒度評価はどの程度一貫性を示すか。
• RQ3 1つの感情表現モデルが、リアルタイムのインタラクティブ環境における動的な感情変化を効果的に捉えられるか。
• RQ4 ゲームジャンルとインタラクティブ性は、感情反応パターンにどのような影響を与えるか。

主な発見

• AGAIN は、インタラクティブゲームに基づく最大の公開可能な感情データセットであり、37時間以上のアノテート済みの動画とゲームログを含む。
• 124名の参加者からの連続的な覚醒度評価が収集されており、感情ダイナミクスの細分化された分析が可能である。
• 9つの異なるゲームの組み合わせにより、ゲームメカニクス、物語、感情の誘発要因の多様性が確保されている。
• 第一人称のアノテーション手法により、より没入的で生態的妥当性の高い感情反応が得られる。
• タスク固有のモデルと汎用的なモデルの両方をサポートするため、多様な研究応用に柔軟性を提供する。
• このコーパスにより、リアルタイムでインタラクティブな文脈における感情反応の研究が可能となり、感情コンピューティング分野の前進が図られる。