[논문 리뷰] Taking the Scenic Route: Automatic Exploration for Videogames

Zeping Zhan, Batu Aytemiz외 1명|arXiv (Cornell University)|2018. 12. 07.

Artificial Intelligence in Games참고 문헌 18인용 수 6

한 줄 요약

이 논문은 인간의 플레이테스팅 시간 범위 내에서 다양한 게임 상태의 커버리지를 극대화하는 자동 탐색 전략을 제안한다. 시각적 임bedding 기반의 게임에 종속되지 않는 지표와 게임에 특화된 지표를 사용하여 탐색 품질을 평가한다. 연구 결과, RRT나 혼돈 개미 같은 간단한 AI 방법이 인간의 탐색 효율성과 맞먹거나 이를 초월함을 입증하며, 이는 게임 분석, 테스팅, 검색 등의 응용 분야에서 게임 콘텐츠의 의미적 맵핑을 가능하게 한다.

ABSTRACT

Machine playtesting tools and game moment search engines require exposure to the diversity of a game's state space if they are to report on or index the most interesting moments of possible play. Meanwhile, mobile app distribution services would like to quickly determine if a freshly-uploaded game is fit to be published. Having access to a semantic map of reachable states in the game would enable efficient inference in these applications. However, human gameplay data is expensive to acquire relative to the coverage of a game that it provides. We show that off-the-shelf automatic exploration strategies can explore with an effectiveness comparable to human gameplay on the same timescale. We contribute generic methods for quantifying exploration quality as a function of time and demonstrate our metric on several elementary techniques and human players on a collection of commercial games sampled from multiple game platforms (from Atari 2600 to Nintendo 64). Emphasizing the diversity of states reached and the semantic map extracted, this work makes productive contrast with the focus on finding a behavior policy or optimizing game score used in most automatic game playing research.

연구 동기 및 목표

• 인간의 플레이테스팅 시간 범위와 유사한 스케일에서 비디오게임의 의미적 상태공간을 효율적으로 커버하는 자동 탐색 전략을 개발한다.
• 게임에 종속되지 않는 지표와 게임에 특화된 지표를 모두 사용하여 탐색 품질을 정량화함으로써, 다양한 플랫폼과 게임 간 비교를 가능하게 한다.
• 자동 탐색 전략이 인간의 탐색 방식에 비해 상태의 다양성과 커버리지 측면에서 얼마나 잘 수행되는지 평가한다.
• 대표적인 상태공간 맵을 생성함으로써 게임 순간 색인, 의미적 유사도 추론, 자동 앱 테스팅 등의 후속 응용을 가능하게 한다.
• 자기 플레이를 통해 자가 부트스트랩된 인지 모델의 가능성과, 다양한 전략 간에 탐색 데이터를 재사용할 수 있는지 탐색한다.

제안 방법

• 저자는 네 가지 탐색 품질 지표를 정의한다: 시각 임bedding 기반의 게임에 종속되지 않는 지표인 Inception 핵노름과, 상태 방문 다양성 및 장면 커버리지 등 세 가지 게임에 특화된 지표를 포함한다.
• 아틀라스 2600에서 닌텐도 64에 이르기까지 다양한 상업용 게임에 대해 혼돈 개미(임의의 동작), RRT(빠르게 탐색하는 랜덤 트리), 하이브리드 전략과 같은 간단한 탐색 전략을 적용한다.
• 탐색 중 수집된 트레이잭터리에 기반해 Inception 네트워크를 재학습함으로써, 자가 플레이 학습 루프를 사용해 게임에 특화된 인지 모델을 부트스트랩한다.
• 플레이 시간에 따라 탐색 진행 상황을 측정하며, 전략과 인간 플레이어 간의 효율성을 비교하기 위해 지표를 시간에 따라 추적한다.
• 하이브리드 전략은 혼돈 개미의 초기 무작위 탐색을 기반으로 RRT의 체계적인 확장을 결합하며, 혼돈 개미의 결과를 RRT 트리의 시드로 사용한다.
• 모든 실험은 BizHawk 에뮬레이터를 사용하여 수행되며, 지표 계산을 위해 스크린샷, 동작, 메모리 스냅샷을 기록한다.

실험 결과

연구 질문

• RQ1 자기 탐색 전략이 동일한 시간 예산 내에서 인간 플레이테스터와 비교해 게임의 상태공간을 유사하거나 더 잘 커버할 수 있는가?
• RQ2 다양한 게임과 플랫폼에서 혼돈 개미, RRT 등의 다양한 탐색 전략이 의미적 상태 다양성 측면에서 어떻게 성능을 내는가?
• RQ3 자동 탐색에서 수집한 데이터를 활용한 자기 플레이 학습을 통해 인지 모델의 품질을 얼마나 향상시킬 수 있는가?
• RQ4 Inception 핵노름과 같은 단일 플랫폼에 종속되지 않는 지표를 사용해, 시각적 및 기계적 복잡도가 매우 다른 게임 간에 탐색 진행 상황을 공정하게 비교할 수 있는가?
• RQ5 무작위 탐색과 체계적 탐색(예: 혼돈 개미 + RRT)을 조합하면 개별 전략보다 더 나은 종합적 커버리지를 달성할 수 있는가?

주요 결과

• RRT나 혼돈 개미와 같은 간단한 자동 탐색 전략이 10~30분 내로 인간 플레이테스터와 유사한 탐색 품질을 달성한다.
• Inception 핵노름 지표는 탐색 진행 상황을 효과적으로 포착하며, 탐색 품질의 게임 간 및 플랫폼 간 비교를 가능하게 한다.
• 혼돈 개미로 RRT 트리를 시드하는 하이브리드 전략은 개별 전략보다 우수한 성능을 보이며, 무작위 탐색과 체계적 탐색을 조합함으로써 커버리지가 향상됨을 보여준다.
• 자동으로 수집된 트레이잭터리에 기반한 자기 플레이 학습은 인지 모델 품질을 크게 향상시키며, 이후 런에서 더 빠르고 깊이 있는 탐색을 가능하게 한다.
• 일부 게임(예: 슈퍼 마리오 월드)은 짧은 시간 내에 자동 탐색이 상태 다양성 측면에서 인간 성능을 초월할 수 있음을 보여준다.
• 탐색 효과성은 게임과 플랫폼 간에 크게 다름을 보이며, 이는 시각적 다양성과 초기 인지 모델의 품질에 따라 달라진다.