[논문 리뷰] Towards Automated Video Game Testing: Still a Long Way to Go

Cristiano Politowski, Yann‐Gaël Guéhéneuc외 1명|arXiv (Cornell University)|2022. 02. 25.

Artificial Intelligence in Games인용 수 4

한 줄 요약

이 연구는 자동화된 비디오 게임 테스팅 분야의 학술 연구와 산업 현장의 실무자 요구 간 격차를 조사하며, 개발자들이 워크플로우 방해와 높은 초도 비용으로 인해 AI 에이전트를 테스팅에 활용하는 것에 대해 여전히 회의적이라는 점을 밝혀냈다. 연구 관심이 증가하고 있음에도 불구하고 대부분의 솔루션은 실용적 테스팅 목표보다 머신러닝 모델 성능을 우선시하며, 테스팅 목표와 오라클에 초점을 맞춘 경량이고 비파괴적인 도구의 필요성을 드러낸다.

ABSTRACT

As the complexity and scope of game development increase, playtesting remains an essential activity to ensure the quality of video games. Yet, the manual, ad-hoc nature of playtesting gives space to improvements in the process. In this study, we investigate gaps between academic solutions in the literature for automated video game testing and the needs of video game developers in the industry. We performed a literature review on video game automated testing and applied an online survey with video game developers. The literature results show a rise in research topics related to automated video game testing. The survey results show that game developers are skeptical about using automated agents to test games. We conclude that there is a need for new testing approaches that did not disrupt the developer workflow. As for the researchers, the focus should be on the testing goal and testing oracle.

연구 동기 및 목표

• 자동화된 비디오 게임 테스팅 분야의 학술 연구와 실제 개발자 요구 간 괴리점을 규명하기 위해.
• 실무자인 게임 개발자 관점에서 학술 솔루션의 수용 가능성, 실현 가능성, 실행 가능성 평가를 위해.
• growing 연구 관심에도 불구하고 AI 에이전트를 활용한 자동화된 테스팅이 도입되지 않은 이유를 이해하기 위해.
• 워크플로우 방해, 높은 개발 비용, 일반 목적 도구 부족과 같은 핵심 장벽을 특정하기 위해.
• 미래 연구를 테스팅 목표와 오라클에 초점을 맞춘 실용적이고 개발자 友好的한 접근 방식으로 이끌기 위해.

제안 방법

• 자동화된 비디오 게임 테스팅 분야의 논문 166편을 대상으로 문헌 리뷰를 수행하고, 유망한 53개 솔루션으로 필터링하였다.
• 자동화된 테스팅 분야에서의 관련성과 혁신성 기준으로 일곱 가지 대표적 학술 솔루션을 평가 대상으로 선정하였다.
• 게임 개발자, 디자이너, 관리자 등을 대상으로 한 온라인 설문조사를 설계 및 배포하여 일곱 가지 솔루션을 평가하였다.
• 설문 질문은 이해도 향상을 위해 기술적 세부 사항을 단순화하여 수용 가능성, 실현 가능성, 실행 가능성에 집중하였다.
• 정성적 및 정량적 분석을 통해 설문 응답을 해석하고 반복적인 우려 사항을 식별하였다.
• 낮은 응답률과 응답자들의 제한된 기술 전문성 등의 잠재적 편향을 고려하여 분석하였다.

실험 결과

연구 질문

• RQ1 자동화된 비디오 게임 테스팅을 위한 학술 솔루션은 게임 개발자들의 실질적 요구와 어떻게 비교되는가?
• RQ2 게임 개발자들이 AI 기반 자동화된 테스팅 에이전트를 도입하지 못하는 데 핵심적인 장애물은 무엇인가?
• RQ3 개발자들이 학술 솔루션을 실제 적용 가능한가, 실현 가능한가, 수용 가능한가를 어느 정도로 평가하는가?
• RQ4 워크플로우 방해와 초도 개발 비용은 자동화된 테스팅 도구의 도입에 어떤 영향을 미치는가?
• RQ5 미래의 자동화된 비디오 게임 테스팅 연구에서 테스팅 목표와 테스팅 오라클은 어떤 역할을 해야 하는가?

주요 결과

• 최근 몇 년간 자동화된 비디오 게임 테스팅 분야의 학술 연구가 크게 증가했으며, 특히 머신러닝 기반 테스팅 접근 방식에서 두드러졌다.
• большин수 학술 솔루션은 실제 테스팅 목표(버그 탐지, 게임플레이 품질 등)보다 머신러닝 모델의 성능을 우선시한다.
• 게임 개발자들은 AI 에이전트를 활용한 테스팅에 대해 회의적이다. 이는 비용이 많이 들고 시간이 오래 걸리며 기존 워크플로우를 방해하기 때문으로 평가된다.
• 독립 개발자 및 소규모 스튜디오는 평가된 일곱 가지 솔루션 중 어느 것도 초도 설정 및 커스터마이제이션 비용이 높아 적합하지 않다고 평가했다.
• 응답자들은 유니티 엔진과 같은 게임 엔진에 직접 통합되는 오픈소스, 일반 목적의 테스팅 도구에 강한 수요를 나타냈다.
• AI의 발전에도 불구하고 개발자들은 유머, 일관성, 사용성 평가와 같은 요소에 인간의 판단이 필수적이라고 보며, AI가 아직 효과적으로 모방할 수 없는 영역라고 평가했다.