[논문 리뷰] Multimodal vs. Unimodal Physiological Control in Videogames for Enhanced Realism and Depth

Gonçalo Filipe Lopes Coelho Amaral da Silva|arXiv (Cornell University)|2014. 06. 02.

Virtual Reality Applications and Impacts참고 문헌 44인용 수 3

한 줄 요약

이 논문은 1인칭 슈팅 게임에서 다중 모odal 직접 생리적 피드백을 제안하며, 각 게임 메커니즘에 두 가지 생리적 센서(예: 호흡 및 체온)를 조합하여 현실감과 깊이를 향상시킨다. 결과적으로, 단일 모달 생리적 피드백은 표준 조작 방식 대비 즐거움과 현실감을 향상시키지만, 다중 모달 생리적 피드백은 인지적 및 신체적 부담이 증가하는 대가를 치르더라도 인지된 깊이, 현실감, 플레이어의 자기결정감을 크게 향상시킨다.

ABSTRACT

(arXiv abridged abstract) In the last two decades, videogames have evolved in a nearly explosive way from the pixelated graphics to today's near-realistic 3D environments. The interaction devices traditionally used in videogames have not evolved with the same intensity, but recent HCI studies have explored biofeedback interaction - the explicit manipulation of a person's physiological data as input to a system - as an alternative to them. Traditional biofeedback prototypes apply 1 sensor to each game mechanic (unimodality). In this dissertation, we introduce the combination of 2 physiological sensors simultaneously per game mechanic (multimodality) and present a First-Person Shooter game comprised of 8 game mechanics with three interaction flavours (no biofeedback/vanilla, unimodal and multimodal). An empirical study with 32 regular players was employed to explore and study differences between the three interaction types and where they can be best employed. Players compared the three games in terms of Fun, Ease of Use, Originality, Playability and Favourite Condition. For the sake of completeness, other evaluation methods were used as well: IMI Questionnaire, keywords association and open-ended commentaries. The vanilla version was considered easier to use, but both biofeedback versions were considered the most fun. Both versions were praised differently: the unimodal version for its simplicity of use, and the multimodal for its realism, activation safety of game mechanics and depth added to the game. Our conclusion is that multimodal biofeedback can have a relevant impact in terms of added depth, depending on the way it is used inside the game. On a boundary case, it can be used to increase the feeling of empowerment on the player when using certain abilities, or to intentionally make in-game actions more difficult by demanding more physical effort from the player.

연구 동기 및 목표

• 단일 모달 생리적 피드백의 한계를 해결하기 위해, 플레이어 상호작용을 단순화하고 전통적인 입력 방식을 대체할 근거를 제공하지 못하는 문제를 해결하고자 한다.
• 각 게임 메커니즘에 다수의 생리적 센서를 조합하는 방식(다중 모달 생리적 피드백)이 현실감, 깊이, 플레이어 참여도를 향상시키는지 조사하고자 한다.
• 다양한 제어 방식 간 비교를 통해 다중 모달 생리적 피드백이 즐거움, 사용성, 독창성, 플레이어 가능성을 어떻게 영향을 미치는지 평가하고자 한다.
• 다양한 생리적 피드백 유형이 플레이어의 인식, 특히 몰입감, 현실감, 신체적 노력에 어떤 영향을 미치는지 평가하고자 한다.
• 상황에 따라 조절 가능한 생리적 피드백 메커니즘의 설계 함의와 장기적인 사용성 문제를 탐색하고자 한다.

제안 방법

• Unreal Development Kit를 사용해 1인칭 슈팅 게임 프로토타입을 개발하였으며, 세 가지 제어 유형(기본, 단일 모달 생리적 피드백, 다중 모달 생리적 피드백)을 제공하였다.
• 호흡( RESP ) 및 체온( TEMP )을 측정하는 생리적 센서를 통합하여, 반동 감소 및 수중 탐색과 같은 게임 내 행동을 제어하였다.
• 다중 모달 제어에서는 협동적인 생리적 입력(예: 숨 멈추기 + 체온 변화로 암시적 침투 또는 잠수)이 요구되는 메커니즘을 설계하였다.
• 32명의 참가자가 다중 지표(즐거움, 사용 용이성, 독창성, 플레이어 가능성, 선호 조건)를 기반으로 세 가지 버전을 비교하는 사용자 테스트를 실시하였다.
• 키워드 정렬 및 개방형 의견 기반 질적 피드백을 수집하였으며, 내재 동기 및 만족도를 평가하기 위해 IMI 설문지를 시행하였다.
• 비교 점수 및 주제 분석을 통해 단일 모달과 다중 모달 생리적 피드백 간 인지된 깊이 및 현실감의 차이를 평가하였다.

실험 결과

연구 질문

• RQ1 다중 모달 직접 생리적 피드백은 단일 모달 또는 표준 제어 방식에 비해 인지된 현실감과 깊이를 유의미하게 향상시키는가?
• RQ2 플레이어들은 다중 모달 생리적 피드백이 단일 모달 및 기본 제어 방식에 비해 즐거움, 사용성, 플레이어 가능성을 어떻게 평가하는가?
• RQ3 각 메커니즘에 다수의 생리적 신호를 조합함으로써 몰입감과 플레이어 자기결정감이 어느 정도 향상되는가?
• RQ4 특히 메커니즘이 센서 입력을 공유할 경우, 단일 모달과 다중 모달 생리적 피드백 간 플레이어의 혼란도 또는 활성화 난이도에 눈에 띄는 차이가 있는가?
• RQ5 지속적인 생리적 피드백 게임플레이나 사용에 따른 장기적 사용성 및 신체적 피로의 영향은 무엇인가?

주요 결과

• 단일 모달 및 다중 모달 생리적 피드백 버전은 모두 기본 키보드/마우스 버전보다 유의미하게 더 즐거운 것으로 평가되었으며, 두 생리적 피드백 유형 간 총합 즐거움 또는 플레이어 가능성에 통계적으로 유의미한 차이는 없었다.
• 다중 모달 생리적 피드백은 단일 모달 생리적 피드백보다 더 현실감 있고 깊이 있으며, 활성화가 더 안전하다고 인식되었으며, 플레이어들은 추가적인 신체적·인지적 참여를 칭찬하였다.
• 플레이어들은 다중 모달 생리적 피드백이 자기결정감과 몰입감을 향상시킨다고 보고하였으며, 특히 숨 멈추기와 체온 변화를 동시에 요구하는 암시적 침투나 잠수와 같은 조건에서 두드러졌다.
• IMI 설문지 결과, 생리적 피드백이 내재 동기와 즐거움에 유의미한 긍정적 영향을 미쳤으며, 이는 신체 동작이 게임 내에서 직접 반영되기 때문으로 보인다.
• 일부 참가자들은 단일 모달 버전에서 동일한 센서(예: RESP)가 서로 관련 없는 기능(예: 수중에서 숨 멈추기와 투명성)을 제어할 경우 혼란을 느꼈다. 이는 다중 모달 버전에서 센서 분리로 해결되었다.
• 연구 결과, 게임 내 상황(예: 가벼운 물체 다루기 vs. 무거운 물체 다루기)에 따라 단일 모달과 다중 모달 생리적 피드백을 조합하는 것이 게임플레이의 깊이와 플레이어 경험을 최적화하는 데 기여할 수 있다.