[논문 리뷰] Co-Creative Level Design via Machine Learning

Matthew Guzdial, Nicholas Liao외 1명|arXiv (Cornell University)|2018. 09. 25.

Artificial Intelligence in Games참고 문헌 13인용 수 4

한 줄 요약

이 논문은 인간 디자이너와 기계 학습 에이전트가 협동하여 게임 레벨을 생성하는 공창의적 레벨 설계 프레임워크를 제안한다. 이는 기존의 PLGML 방법이 공창의적 설계에 부적합하다는 것을 입증한다. 본 연구는 '에피소드형'과 '연속형'으로 나뉘는 활동 학습 변형을 도입하여, 에피소드형 미세조정이 평균적으로 사용자 만족도를 3% 향상시키는 것으로 나타났으며, 연속형 학습은 높은 사용자 변동성으로 인해 실패함을 보여준다.

ABSTRACT

Procedural Level Generation via Machine Learning (PLGML), the study of generating game levels with machine learning, has received a large amount of recent academic attention. For certain measures these approaches have shown success at replicating the quality of existing game levels. However, it is unclear the extent to which they might benefit human designers. In this paper we present a framework for co-creative level design with a PLGML agent. In support of this framework we present results from a user study and results from a comparative study of PLGML approaches.

연구 동기 및 목표

• 정적 콘텐츠 생성을 넘어서 인간-AI 협업이 필요한 공창의적 설계를 위한 기계 학습 기반의 정형 레벨 생성(PLGML) 갭을 해소하기 위해.
• 기존의 PLGML 접근 방식이 실질적으로 공창의적 레벨 설계를 효과적으로 지원할 수 있는지 조사하기 위해.
• 공창의적 PLGML가 단순히 정적 게임 레벨 코퍼스가 아니라, 공창의적 데이터셋 또는 그 근사치에 기반해 훈련되어야 한다는 것을 입증하기 위해.
• 공창의적 설계에서 개인의 인간 디자이너 선호도에 맞게 PLGML 에이전트를 적응시키는 데 활동 학습 전략의 효과를 평가하기 위해.
• 사용자 디자인 스타일이 너무 다양하여 일반화가 어려우므로, 공창의적 시스템에서 개인 맞춤형 적응이 필수적임을 입증하기 위해.

제안 방법

• 기존의 세 가지 PLGML 모델—마르코프 체인, 베이지안 네트워크, LSTM—을 공창의적 레벨 에디터 인터페이스에 적합한 반복적이고 턴 기반의 AI 파artner로 변형하였다.
• 공개된 슈퍼 마리오 브라더스 레벨 에디터를 사용하여 실시간 인간-AI 협업을 가능하게 하는 사용자 연구를 수행하였다.
• 두 가지 활동 학습 변형을 설계: '에피소드형'(사용자 세션마다 재학습)과 '연속형'(다양한 사용자 간 누적적인 가중치 업데이트).
• 레벨 완료 및 디자인 품질 지표를 기반으로 보상 신호를 사용하여 인간-AI 상호작용의 시뮬레이션 데이터셋으로 에이전트를 훈련시켰다.
• 백엔드 로깅을 통해 모든 인간 및 AI 행동을 추적하여, 에이전트 성능과 사용자 만족도를 정밀하게 평가할 수 있도록 하였다.
• 에이전트 평가를 위해 AI 파artner가 사용자 행동에 적응하는 시뮬레이션 상호작용 환경을 구축하였으며, 성능은 최대 보상의 백분위수로 측정하였다.

실험 결과

연구 질문

• RQ1 기존의 기계 학습 기반 정형 레벨 생성(PLGML) 방법은 인간 디자이너와의 공창의적 레벨 설계를 효과적으로 지원할 수 있는가?
• RQ2 사용자 디자인 스타일이 공창의적 PLGML 시스템에서 개인 간 일반화를 방해할 정도로 다양하게 변동하는가?
• RQ3 활동 학습은 공창의적 레벨 설계에서 개인의 인간 디자이너 선호도에 맞게 PLGML 에이전트가 적응하는 능력을 향상시키는가?
• RQ4 사용자별 재학습(에피소드형)이 다수의 사용자 선호도에 적응하는 데 있어 누적적 학습(연속형)보다 효과적인가?
• RQ5 완전한 사용자 연구 없이도, 근사된 공창의적 데이터셋을 사용하여 효과적인 공창의적 PLGML 에이전트를 훈련시킬 수 있는가?

주요 결과

• 기존의 PLGML 방법은 개인의 사용자 선호도와 디자인 변동성에 적응하지 못하기 때문에, 공창의적 레벨 설계에 부적합하다.
• 에피소드형 활동 학습 변형은 비활동 기반 베이스라인 대비 평균 사용자 만족도를 약 3% 향상시켰으며, 이는 최대 보상의 백분위수로 측정되었다.
• 연속형 활동 학습 변형은 11명의 참가자 중 6명의 경우 에피소드형 및 비활동 기반 버전보다 성능이 열 劣하므로, 다양한 사용자 행동에 대한 일반화 능력이 떨어짐을 시사한다.
• 참가자 8번과 9번은 활동 학습으로 인해 보상이 10배 이상 증가하여, 충분한 상호작용이 효과적인 개인 맞춤화를 가능하게 함을 보여주었다.
• 비활동 기반 베이스라인의 평균 보상 백분위수는 1.45였으며, 이는 에피소드형 변형에서는 1.47로 향상되었고, 마지막 참가자에서는 연속형 변형에서 -4.62로 하락하였다.
• 결과는 사용자 디자인 패턴이 너무 다양하여 단일 모델이 일반화하기 어려우므로, 활동 학습을 통한 개인 맞춤형 적응이 필수적임을 시사한다.