[논문 리뷰] Computer Games Are Serious Business and so is their Quality: Particularities of Software Testing in Game Development from the Perspective of Practitioners

Ronnie E. S. Santos, Cleyton Magalhães외 4명|arXiv (Cornell University)|2018. 12. 12.

Educational Games and Gamification참고 문헌 23인용 수 3

한 줄 요약

이 연구는 38명의 전문가를 대상으로 한 혼합 방법 사례 연구 및 설문 조사로, 컴퓨터 게임 개발에서 소프트웨어 테스팅의 고유한 과제를 조사한다. 연구 결과, 게임 테스팅은 기능적 정확성 초월해 게임 밸런스, 물리적 행동, 엔터테인먼트 품질 평가를 포함해야 하며, 이는 게임 특화의 비기능적 요구사항에 맞춘 전용 테스팅 접근법이 필요함을 시사한다.

ABSTRACT

Over the last several decades, computer games started to have a significant impact on society. However, although a computer game is a type of software, the process to conceptualize, produce and deliver a game could involve unusual features. In software testing, for instance, studies demonstrated the hesitance of professionals to use automated testing techniques with games, due to the constant changes in requirements and design, and pointed out the need for creating testing tools that take into account the flexibility required for the game development process. Goal. This study aims to improve the current body of knowledge regarding software testing in game development and point out the existing particularities observed in software testing considering the development of a computer game. Method. A mixed-method approach based on a case study and an opinion survey was applied to collect quantitative and qualitative data from software professionals regarding the particularities of software testing in game development. Results. We analyzed over 70 messages posted on three well-established network of question-and-answer communities related to software engineering, software testing and game development and received answers of 38 professionals discussing differences between testing a computer game and a general software, and identified important aspects to be observed by practitioners in the process of planning, performing and reporting tests in this context. Conclusion. Considering computer games, software testing must focus not only on the common aspects of a general software, but also, track and investigate issues that could be related to game balance, game physics and entertainment related-aspects to guarantee the quality of computer games and a successful testing process.

연구 동기 및 목표

• 산업 전문가들이 인식하는 컴퓨터 게임 개발 소프트웨어 테스팅의 특정 과제를 식별하고 분석하는 것.
• 기존 소프트웨어 테스팅 관행이 게임 개발 환경에서는 왜 자주 실패하는지 이해하는 것.
• 게임플레이나 현실감과 같은 고유한 비기능적 품질 특성들이 테스팅에 미치는 영향을 탐색하는 것.
• 테스팅 라이프사이클에 게임 특화 품질 차원을 통합함으로써 테스팅 관행을 향상시키는 프레임워크를 제안하는 것.
• 전문가 기반의 통찰을 통해 일반 소프트웨어 테스팅 방법론과 게임 개발의 고유한 요구사항 간 격차를 메우는 것.

제안 방법

• Stack Overflow, Software Engineering Stack Exchange, GameDev Stack Exchange의 세 개 Q&A 커뮤니티에서 수집한 70개 이상의 메시지에 대한 정성적 분석을 포함한 혼합 방법 연구를 수행함.
• 게임 개발 및 테스팅 경험이 있는 38명의 소프트웨어 전문가를 대상으로 설문 조사를 실시하여 테스팅 관행과 과제에 대한 통찰을 확보함.
• 테마 분석을 통해 일반 소프트웨어 테스팅과의 차이점을 중심으로 반복되는 패턴과 고유한 우려 사항을 식별함.
• 게임 프로젝트에서 자동화의 한계, 테스트 설계, 보고 방식에 대한 전문가 의견을 수집 및 분석함.
• 비기능적 테스팅 차원(예: 게임 밸런스, 물리, 사용자 경험)을 강조하는 개념 모델에 통합함.
• 기존 소프트웨어 테스팅 및 게임 개발 분야의 문헌과의 교차 검증을 통해 연구 결과를 검증함.

실험 결과

연구 질문

• RQ1 전문가의 관점에서 컴퓨터 게임 테스팅과 일반 목적 소프트웨어 테스팅의 주요 차이는 무엇인가?
• RQ2 왜 소프트웨어 테스팅 전문가들은 게임 개발에서 자동화 테스팅 기법을 수용하는 데 주저하는가?
• RQ3 기능 외의 비기능적 품질 특성 중 컴퓨터 게임의 품질 평가에 가장 중요한 것은 무엇인가?
• RQ4 밸런스, 물리, 엔터테인먼트 가치와 같은 게임 특화 요소가 테스트 기획 및 실행에 어떻게 영향을 미치는가?
• RQ5 게임플레이나 사용자 경험과 관련된 이슈 보고 및 추적에서 테스터들이 겪는 고유한 과제는 무엇인가?

주요 결과

• 전문가들은 일반 소프트웨어 테스팅에서 일반적으로 우선시되지 않는 게임 밸런스, 물리적 행동, 사용자 참여도와 같은 비기능적 요소를 테스트에서 평가해야 한다고 끊임없이 강조함.
• 게임 디자인의 높은 변동성과 게임플레이 메커니즘 및 콘텐츠의 빈번한 변화로 인해 자동화 테스팅이 자주 회피됨.
• 특히 초기 개발 단계에서 테스팅의 대부분이 스크립트화되거나 자동화된 테스트 케이스보다는 탐색형 및 수동 테스팅에 집중됨.
• 게임 개발에서의 테스트 보고는 즐거움, 도전성, 몰입감과 같은 주관적 평가를 포함하는 경우가 많으며, 이는 측정하기 어려우나 품질에 매우 중요함.
• 전문가들은 게임 특화 문제인 악용 가능성, 진행 속도, AI 행동이 높은 우선순위 테스트 우려 사항으로 자주 지목함.
• 게임 개발의 동적이고 창의적이며 경험 중심적인 특성을 효과적으로 다룰 수 있는 기존 테스팅 도구 및 방법론 간 격차가 뚜렷함.