[논문 리뷰] The Affect Game AnnotatIoN (AGAIN) Dataset.

Dávid Melhárt, Antonios Liapis외 1명|arXiv (Cornell University)|2021. 04. 06.

Emotion and Mood Recognition참고 문헌 64인용 수 10

한 줄 요약

Affect Game AnnotatIoN (AGAIN) 데이터셋은 9개의 서로 다른 게임에서 유도된 1,100개 이상의 인게임 영상 클립을 포함하는 대규모이고 다양한 정서적 코퍼스를 소개한다. 이 데이터셋은 124명의 참가자로부터 연속적인 1인칭 각도의 각성도 평가를 포함하고 있으며, 이는 이질적인 상호작용 작업 간에 일반화 가능한 정서 표현 연구를 가능하게 하며, 실시간 상호작용 환경에서 동적인 정서를 모델링하기 위해 37시간 이상의 애너테이션된 플레이어 데이터를 제공한다.

ABSTRACT

How can we model affect in a general fashion, across dissimilar tasks, and to which degree are such general representations of affect even possible? To address such questions and enable research towards general affective computing this paper introduces the Affect Game AnnotatIoN (AGAIN) dataset. AGAIN is a large-scale affective corpus that features over 1,100 in-game videos (with corresponding gameplay data) from nine different games, which are annotated for arousal from 124 participants in a first-person continuous fashion. Even though AGAIN is created for the purpose of investigating the generality of affective computing across dissimilar tasks, affect modelling can be studied within each of its 9 specific interactive games. To the best of our knowledge AGAIN is the largest - over 37 hours of annotated video and game logs - and the most diverse publicly available affective dataset based on games as interactive affect elicitors.

연구 동기 및 목표

• 서로 다른 상호작용 작업 간에 일반화 가능한 정서 표현의 가능성을 탐구하기 위해.
• 상호작용 기반 비디오 게임에서 유도된 대규모, 다양한, 연속적인 정서 데이터셋의 부족을 보완하기 위해.
• 실시간이고 몰입감 있는 환경에서의 동적인 정서를 연구하기 위한 공개 가능하고 확장 가능한 자원을 제공하기 위해.
• 정서 컴퓨팅 분야에서 작업 특화 경계를 초월한 정서 모델링 연구를 가능하게 하기 위해.

제안 방법

• 다양한 작업 유형을 확보하기 위해 9개의 서로 다른 비디오 게임에서 인게임 영상와 관련 플레이 로그를 수집한다.
• 참가자들은 플레이클립을 시청하는 동안 슬라이더 인터페이스를 통해 연속적인 1인칭 각성도 평가를 제공한다.
• 124명의 참가자로부터 애너테이션을 확보하여 높은 평가자 간 일致성과 시간 해상도를 확보한다.
• 다중모달 정서 모델링을 지원하기 위해 영상, 음성, 게임 로그 데이터를 통합한다.
• 정서 강도의 다양한 수준과 게임 메커니즘을 포함하도록 데이터를 정제하여 표현의 다양성을 향상시킨다.
• 전체 코퍼스는 37시간 이상의 애너테이션된 영상 및 게임 로그를 포함하여, 상호작용 기반 게임에 기반한 가장 큰 공개 정서 데이터셋이 되었다.

실험 결과

연구 질문

• RQ1 비디오 게임에서 서로 다른 상호작용 작업 간에 정서 표현을 얼마나 일반화할 수 있는가?
• RQ2 다양한 플레이 경험과 참가자 간에 연속적인 각성도 평가는 얼마나 일관된가?
• RQ3 단일 정서 표현 모델이 실시간 상호작용 환경에서 동적인 정서 변화를 효과적으로 포착할 수 있는가?
• RQ4 게임 장르와 상호작용성은 정서 반응 패턴에 어떤 영향을 미치는가?

주요 결과

• AGAIN은 상호작용 기반 게임에 기반한 가장 큰 공개 정서 데이터셋으로, 37시간 이상의 애너테이션된 영상 및 게임 로그를 포함한다.
• 124명의 참가자로부터 연속적인 각성도 평가를 확보하여 정서 역학의 세밀한 분석이 가능하다.
• 9개의 서로 다른 게임을 포함함으로써 게임 메커니즘, 내러티브, 정서 자극 요소의 높은 다양성을 확보한다.
• 1인칭 애너테이션 방법은 더 몰입감 있고 생태학적으로 타당한 정서 반응을 가능하게 한다.
• 작업 특화 및 일반화 가능한 정서 모델링을 모두 지원하여 다양한 연구 응용에 대한 유연성을 제공한다.
• 이 코퍼스를 통해 실시간 상호작용 맥락에서의 정서 반응을 연구할 수 있으며, 정서 컴퓨팅 분야의 발전을 이룬다.