[논문 리뷰] Explainable PCGML via Game Design Patterns

Matthew Guzdial, Joshua O. Reno외 3명|arXiv (Cornell University)|2018. 09. 25.

Artificial Intelligence in Games참고 문헌 19인용 수 5

한 줄 요약

이 논문은 게임 디자인 패턴을 활용한 해석 가능한 PCGML을 제안한다. 이는 디자이너가 작성한 디자인 패턴을 공유된 언어로 사용하여 모델의 해석 가능성과 협업을 향상시키는 방법이다. 랜덤 포레스트 분류기와 오토에인코더 기반 생성 모델을 조합함으로써, 비전문가 디자이너가 레벨 구조를 레이블링할 수 있도록 하여 훈련 시간을 크게 단축시키면서도 디자이너의 의도에 부합하는 콘텐츠 생성 성능을 유지한다.

ABSTRACT

Procedural content generation via Machine Learning (PCGML) is the umbrella term for approaches that generate content for games via machine learning. One of the benefits of PCGML is that, unlike search or grammar-based PCG, it does not require hand authoring of initial content or rules. Instead, PCGML relies on existing content and black box models, which can be difficult to tune or tweak without expert knowledge. This is especially problematic when a human designer needs to understand how to manipulate their data or models to achieve desired results. We present an approach to Explainable PCGML via Design Patterns in which the design patterns act as a vocabulary and mode of interaction between user and model. We demonstrate that our technique outperforms non-explainable versions of our system in interactions with five expert designers, four of whom lack any machine learning expertise.

연구 동기 및 목표

• 비기술적 게임 디자이너를 대상으로 하는 프로시저널 콘텐츠 생성을 위한 기계학습(PCA)의 투명성 부족 문제를 해결한다.
• 최소한의 사용자 입력으로부터 디자인 패턴 레이블을 추론하기 위해 랜덤 포레스트 분류기를 활용하여 게임 콘텐츠의 수동 레이블링 필요성을 줄인다.
• 사용자와 모델 간의 공유된 어휘인 개인화된 디자인 패턴을 통해 수동적 협업을 가능하게 하여 레벨 디자인에서의 인간-AI 협업을 가능하게 한다.
• 개인화된 디자인 의도를 반영하는 설명 가능하고 상호작용 가능한 생성 방식을 통해 모델 성능 향상과 사용자 신뢰를 제고한다.
• 전이 학습을 활용한 확장 가능하고 효율적인 훈련 파이프라인을 개발하여, 디자인 목표와의 일치를 희생시키지 않은 채 모델 적응 속도를 가속화한다.

제안 방법

• 게임 레벨 코퍼스로부터 압축되고 분리된 레벨 구조 표현을 학습하기 위해 변동형 오토에인코더(VAE)를 사용한다.
• 최소한의 사용자 제공 예시를 바탕으로 레벨 구조에 대한 디자인 패턴 레이블을 예측하기 위해 랜덤 포레스트 분류기를 활용하여 레이블링 부담을 줄인다.
• 모델이 사용자가 지정한 디자인 패턴을 기반으로 새로운 레벨 섹션을 생성하는 공창적 파이프라인에 분류기를 통합한다.
• 사전 훈련된 오토에인코더의 가중치를 전이하여 '다시 태어난' 신경망 방식을 적용함으로써 새로운 디자인 패턴 작업에 대한 훈련 속도를 가속화한다.
• 사용자의 디자인 의도를 반영한 레벨 섹션을 생성하며, 전문가 디자이너가 출력 결과를 시각화하고 검증한다.
• 사용자가 모델 출력 결과를 바탕으로 디자인 패턴 정의를 조정하거나 명확히 할 수 있도록 허용하여, 모델과 사용자 간의 일치를 위한 피드백 루프를 제공한다.

실험 결과

연구 질문

• RQ1 디자이너가 작성한 게임 디자인 패턴은 PCGML 모델 행동을 설명하고 이끌기 위한 효과적이고 해석 가능한 어휘로 기능할 수 있는가?
• RQ2 최소한의 입력으로 디자인 패턴 레이블을 추론하기 위해 랜덤 포레스트 분류기를 사용할 경우, 레이블링 부담은 얼마나 감소하고 성능는 유지되는가?
• RQ3 전이 학습은 새로운 디자인 패턴에 적응할 때 훈련 속도와 모델 정밀도에 어떤 영향을 미치는가?
• RQ4 비ML 전문가 디자이너들이 이 시스템을 사용하여 자신의 디자인 의도에 부합하는 콘텐츠를 효과적으로 생성할 수 있는가?
• RQ5 설명 가능한 디자인 패턴의 통합은 공창적 설계 워크플로우에서 PCGML 시스템의 신뢰성과 사용성에 어떤 영향을 미치는가?

주요 결과

• 생성된 콘텐츠와 디자이너의 의도 간 높은 일치도를 달성했으며, 전문가 디자이너인 디 프로사로 사라오가 모델의 출력이 '완성자 보상' 패턴의 정의와 일치한다고 확인했다.
• 전이 학습 덕분에 평균 훈련 시간이 약 5시간에서 4.48초(랜덤 포레스트 기반)와 144.92초(자동 레이블링 기반)로 급격히 단축되어 빠른 반복에 대한 사용성 향상이 뚜렷했다.
• 가장 성능이 뛰어난 전이 학습 변종은 전체 훈련 기준선과 구조적 특징에서 몇 분의 일 정도의 오차 내에 머물러, 극단적으로 단축된 훈련 시간에도 불구하고 성능 손실가 최소화됨을 시사했다.
• ML 전문지식이 없는 5명의 전문가 중 4명이 긍정적인 경험을 보였으며, 시스템이 공창적 레벨 디자인에 직관적이고 유용하다고 평가했다.
• 개인화된 디자인 패턴의 사용은 모델이 개인의 디자인 가치를 반영할 수 있음을 보여주었으며, 이러한 레이블이 인간 디자이너와 AI 간의 공유 언어로 기능할 수 있음을 입증했다.
• 시스템은 반복적 정교화를 지원하며, 디자이너들이 패턴 정의를 더욱 명확히 하거나 강화하고 싶다는 욕구를 표현함으로써, 상호작용적이고 진화하는 모델-사용자 일치가 필요함을 시사했다.