[논문 리뷰] CCPT: Automatic Gameplay Testing and Validation with Curiosity-Conditioned Proximal Trajectories

Alessandro Sestini, Linus Gisslén외 3명|arXiv (Cornell University)|2022. 02. 21.

Artificial Intelligence in Games인용 수 5

한 줄 요약

이 논문은 복잡한 3D 탐색 환경에서 게임플레이 버그와 디자인 누락을 자동으로 탐지하기 위해 궁금증 기반 탐색과 모방 학습을 결합한 딥 강화학습 방법 CCPT를 소개한다. 전문가 시연 주변에서 탐색하도록 훈련된 에이전트는 탐색 조건에 따라 내재된 보상 함수를 통해 새로운 상태를 탐색하면서도 전문가 시연에 가까이 머무르게 하여 뛰어난 커버리지와 의심스러운 또는 손상된 트레이젝터리를 식별한다. 이는 게임 디자이너가 인간의 간섭을 최소화하고도 문제를 자동으로 강조하고 분석할 수 있도록 한다.

ABSTRACT

This paper proposes a novel deep reinforcement learning algorithm to perform automatic analysis and detection of gameplay issues in complex 3D navigation environments. The Curiosity-Conditioned Proximal Trajectories (CCPT) method combines curiosity and imitation learning to train agents to methodically explore in the proximity of known trajectories derived from expert demonstrations. We show how CCPT can explore complex environments, discover gameplay issues and design oversights in the process, and recognize and highlight them directly to game designers. We further demonstrate the effectiveness of the algorithm in a novel 3D navigation environment which reflects the complexity of modern AAA video games. Our results show a higher level of coverage and bug discovery than baselines methods, and it hence can provide a valuable tool for game designers to identify issues in game design automatically.

연구 동기 및 목표

• 복잡한 AAA 게임에서 수작업 플레이테스팅이 시간이 오래 걸리고 스케일과 복잡성으로 인해 종종 완전하지 못한 문제를 해결하기 위해.
• 게임 환경을 체계적으로 탐색하고 충돌 상자 누락 또는 버그와 같은 게임플레이 문제를 탐지할 수 있는 자동화된 방법을 개발하기 위해.
• 게임 디자이너가 인간 테스터나 무작위 탐색에만 의존하지 않고도 문제 있는 트레이젝터리를 식별하고 강조할 수 있도록 하기 위해.
• 내재된 궁금증과 전문가 시연을 결합하여 알려진 양호한 경로 주변에서 의미 있고 목표 지향적인 탐색을 유도하기 위해.
• 기본 탐색 및 모방 학습 방법보다 향상된 바탕이 되는 확장 가능하고 재사용 가능한 자동화된 게임플레이 테스트 프레임워크를 만들기 위해.

제안 방법

• CCPT는 모방 학습과 궁금증 기반 내재 보상 함수를 통합하여 에이전트 행동을 유도하는 하이브리드 강화학습 프레임워크를 사용한다.
• 이 방법은 전문가 시연에 가까이 머무르면서도 새로운 상태를 탐색하도록 유도하는 탐색 조건에 따른 내재 보상 함수를 사용한다.
• 환경의 구조를 인코딩하기 위해 3D 의미적 점유 맵을 사용하며, 전역 에이전트 위치를 표현하기 위해 위치 임베딩을 함께 사용한다.
• 정책 네트워크는 관찰을 3D 컨볼루션 아키텍처를 통해 처리하여 의미적 정보와 공간 정보를 기반으로 결정을 내린다.
• 평가 중에는 훈련 중에 사용된 동일한 궁금증 모듈이 예측과 다를 경우가 심한 트레이젝터리를 필터링하고 강조한다.
• 이 접근법은 탐색 유도뿐만 아니라 타깃 테스트를 위한 관심 영역을 정의하기 위해 전문가 시연을 활용한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 복잡한 3D 게임 환경에서 전문가 트레이젝터리 주변에 머무르며 디자인 누락을 탐지할 수 있는가?
• RQ2 궁금증과 모방 학습을 결합하면 순수 궁금증 또는 순수 모방 학습에 비해 탐색 커버리지와 버그 탐지 능력이 어떻게 향상되는가?
• RQ3 위치 임베딩과 의미적 점유 맵은 탐색에서의 이상 탐지 능력 향상에 얼마나 기여하는가?
• RQ4 내재된 궁금증 모듈을 사용하여 의심스럽거나 손상된 게임플레이 트레이젝터리를 자동으로 필터링하고 강조할 수 있는가?
• RQ5 이전에 테스트하지 않은 영역에서 새로운 문제를 발견하기 위해 반복적으로 CCPT를 적용할 경우 프레임워크는 어떻게 확장되는가?

주요 결과

• CCPT는 순수 모방 학습과 순수 궁금증 기반 탐색보다 지도 커버리지 측면에서 뛰어나며, 더 다양한 경로를 더 광범위하게 발견한다.
• CCPT로 훈련된 에이전트는 전문가 시연를 따르면서도 높은 커버리지 성능을 달성하여 이격된 경로의 정밀한 국소화를 가능하게 한다.
• 정규화된 값이나 학습된 임베딩보다 위치 임베딩의 사용이 압도적으로 성능 향상에 기여함을 아블레이션 연구에서 입증되었다.
• 3D 의미적 점유 맵과 3D 컨볼루션 네트워크의 조합은 레이 캐스팅 기반 베이스라인과 전역 표현만을 사용하는 경우보다 성능이 뛰어나다.
• 궁금증 모듈은 충돌 상자 누락이나 의도하지 않은 행동과 같은 잠재적 게임플레이 문제를 가진 트레이젝터리를 성공적으로 식별하고 강조한다.
• 이미 식별된 문제 트레이젝터리를 새로운 시범으로 사용하여 CCPT를 반복 적용하면 모드 콜라프스를 완화하고 이전에 탐색하지 않은 문제 영역까지 커버리지를 확장할 수 있다.