[논문 리뷰] Experience-Driven PCG via Reinforcement Learning: A Super Mario Bros Study

Tianye Shu, Jialin Liu외 1명|ArXiv.org|2021. 06. 30.

Artificial Intelligence in Games인용 수 7

한 줄 요약

이 논문은 경험 기반 프로시저널 콘텐츠 생성(EDPCG)과 강화학습(PCGRL)을 결합한 새로운 프레임워크인 EDRL을 제안한다. 이 프레임워크는 실시간으로 끝없고 플레이 가능한, 즐거운 슈퍼 마리오 브라더스 레벨을 생성한다. 사전에 훈련된 GAN의 잠재 벡터를 사용해 레벨 세그먼트를 생성하고, 강화학습( RL ) 에이전트가 이 세그먼트들을 선택하고 연결함으로써, KL 발산 기반 보상 함수를 통해 즐거움과 다양성을 최적화한다. 자동 수리 및 인공지능 기반 플레이어빌리티 테스트를 통해 품질과 정확성이 보장된다.

ABSTRACT

We introduce a procedural content generation (PCG) framework at the intersections of experience-driven PCG and PCG via reinforcement learning, named ED(PCG)RL, EDRL in short. EDRL is able to teach RL designers to generate endless playable levels in an online manner while respecting particular experiences for the player as designed in the form of reward functions. The framework is tested initially in the Super Mario Bros game. In particular, the RL designers of Super Mario Bros generate and concatenate level segments while considering the diversity among the segments. The correctness of the generation is ensured by a neural net-assisted evolutionary level repairer and the playability of the whole level is determined through AI-based testing. Our agents in this EDRL implementation learn to maximise a quantification of Koster's principle of fun by moderating the degree of diversity across level segments. Moreover, we test their ability to design fun levels that are diverse over time and playable. Our proposed framework is capable of generating endless, playable Super Mario Bros levels with varying degrees of fun, deviation from earlier segments, and playability. EDRL can be generalised to any game that is built as a segment-based sequential process and features a built-in compressed representation of its game content.

연구 동기 및 목표

• 강화학습을 사용하여 게임에서 온라인 경험 기반 프로시저럴 콘텐츠 생성(PCG)을 위한 프레임워크를 개발한다.
• 특히 슈퍼 마리오 브라더스와 같은 복잡한 플랫폼 게임에서 실시간으로 끝없고 플레이 가능한, 다양한 레벨을 생성하는 데 도전하는 문제를 해결한다.
• 특히 즐거움과 역사적 이탈을 포함한 플레이어 경험 메트릭을 강화학습 보상 함수에 통합하여 개인화된 레벨 설계를 가능하게 한다.
• 신경망 지원 유전적 수리와 인공지능 기반 테스팅을 통해 생성된 레벨의 플레이어빌리티와 정확성을 보장한다.
• GVGAI 벤치마크 게임을 넘어서, 큰 액션 스페이스와 세그먼트 기반 레벨 설계를 가진 게임에 적용 가능한 EDRL 프레임워크의 타당성과 확장성을 입증한다.

제안 방법

• EDRL 프레임워크는 사전에 훈련된 GAN을 사용해 레벨 세그먼트를 생성하며, 효율적인 온라인 처리를 위해 잠재 벡터로 표현한다.
• 강화학습 에이전트가 이러한 잠재 벡터를 선택하고 연결하여 실시간으로 더 긴 레벨을 구성하며, 즐거움과 다양성을 균형 잡는 보상 함수에 따라 이끌린다.
• 보상 함수는 코스타의 즐거움 원칙을 정량화하여, 연속된 레벨 세그먼트 간의 쿨백-라이블러(KL) 발산을 조절함으로써 중간 정도의 변동성을 유지한다.
• CNet 기반 유전적 알고리즘이 레벨 내 구조적 결함(예: 고장난 파이프)을 수리하여 정확성을 확보한다.
• 플레이어빌리티는 전체 레벨을 완료할 수 있는지 테스트하는 A* 에이전트를 통해 확인된다.
• 시스템은 온라인으로 작동하여 플레이어 경험 메트릭에 적응하는 동적 실시간 레벨 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 GVGAI 프레임워크를 초월해, 강화학습이 슈퍼 마리오 브라더스와 같은 복잡한 플랫폼 게임에서 실시간으로 끝없고 플레이 가능한, 즐거운 레벨을 효과적으로 생성하는 데 유용한가?
• RQ2 플레이어 경험 메트릭인 즐거움과 역사적 이탈을 어떻게 형식화하고 강화학습 기반 레벨 생성 시스템에 통합할 수 있는가?
• RQ3 사전에 훈련된 GAN에서 유도된 잠재 벡터 기반 생성 방식이 실시간으로 빠르고 확장 가능하며 다양한 레벨 조합을 가능하게 할 수 있는가?
• RQ4 자동 수리와 인공지능 기반 플레이어빌리티 테스트는 인간 간섭 없이 생성된 레벨의 정확성과 플레이어빌리티를 어떻게 보장할 수 있는가?
• RQ5 EDRL 프레임워크는 압축된 콘텐츠 표현 방식을 가진 순차적 세그먼트 기반 프로세스로 구성된 다른 게임으로 일반화될 수 있는가?

주요 결과

• EDRL 프레임워크는 실시간으로 끝없고 플레이 가능한 슈퍼 마리오 브라더스 레벨을 성공적으로 생성하였으며, RL 에이전트가 KL 발산 기반 보상 설계를 통해 즐거움과 다양성을 균형 잡는 데 성공했다.
• RL 에이전트는 세그먼트 간에 중간 정도의 KL 발산 수준을 유지함으로써, 과도한 예측 불가능성 없이 플레이어의 몰입도를 유지하는 데 효과적임을 보였다.
• 신경망 지원 유전적 수리기가 생성된 레벨의 구조적 결함을 효과적으로 수정하여 정확도를 향상시키고 실패율을 감소시켰다.
• A* 에이전트를 통한 인공지능 기반 테스팅은 모든 생성된 레벨이 완전히 플레이어블하다는 것을 확인하였으며, 최종 출력물이 기능적이고 완전함을 보장한다.
• 프레임워크는 GVGAI 게임을 초월해 확장 가능성을 보였으며, 세그먼트 기반 설계를 가진 더 복잡하고 액션 스페이스가 큰 게임에 적용 가능할 잠재력을 보였다.
• 시험 에이전트의 행동에 적응함으로써 개인화된 레벨 생성이 가능해졌으며, 플레이어의 기술 수준과 선호도에 따라 동적으로 적응할 수 있는 잠재력이 있다.