[논문 리뷰] Using Fractal Neural Networks to Play SimCity 1 and Conway's Game of Life at Variable Scales

Sam Earle|arXiv (Cornell University)|2020. 01. 29.

Cellular Automata and Applications참고 문헌 7인용 수 9

한 줄 요약

이 논문은 다양한 지도 크기에서 도시 인구를 최적화하는 에이전트를 훈련하기 위해 미코폴리스(오픈소스의 시미티시티 1 클론)를 사용하는 강화학습 환경인 gym-city를 소개한다. 스케일에 민감하지 않은 정책 학습을 가능하게 하기 위해 재귀적이고 가중치 공유 구조를 가진 프랙탈 신경망을 제안하며, 표준 컨볼루션 기반 모델에 비해 시미티시티 1과 콘웨이의 생명게임에서 뛰어난 일반화 성능을 입증한다.

ABSTRACT

We introduce gym-city, a Reinforcement Learning environment that uses SimCity 1's game engine to simulate an urban environment, wherein agents might seek to optimize one or a combination of any number of city-wide metrics, on gameboards of various sizes. We focus on population, and analyze our agents' ability to generalize to larger map-sizes than those seen during training. The environment is interactive, allowing a human player to build alongside agents during training and inference, potentially influencing the course of their learning, or manually probing and evaluating their performance. To test our agents' ability to capture distance-agnostic relationships between elements of the gameboard, we design a minigame within the environment which is, by design, unsolvable at large enough scales given strictly local strategies. Given the game engine's extensive use of Cellular Automata, we also train our agents to "play" Conway's Game of Life -- again optimizing for population -- and examine their behaviour at multiple scales. To make our models compatible with variable-scale gameplay, we use Neural Networks with recursive weights and structure -- fractals to be truncated at different depths, dependent upon the size of the gameboard.

연구 동기 및 목표

• 도시 시뮬레이션에서 다양한 지도 크기에서 인구를 최적화하는 데 목적이 있는 강화학습 환경을 개발하는 것.
• 재귀적이고 가중치 공유 구조를 가진 프랙탈 신경망이 다양한 스케일의 도시 및 세포자동화 환경에서 일반화 정책을 학습할 수 있는지 조사하는 것.
• 계층적이고 깊이가 가변적인 신경망 아키텍처가 공간적으로 복잡한 시뮬레이션에서 전역적이고 거리에 민감하지 않은 관계를 포착하는 데 얼마나 효과적인지 평가하는 것.
• 훈련 및 추론 중 인간의 상호작용이 에이전트 정책 학습과 성능에 어떤 영향을 미치는지 탐구하는 것.

제안 방법

• 저자들은 시미티시티 1의 게임 엔진을 모방하고 다양한 크기의 게임 보드를 지원하는 미코폴리스 기반의 맞춤형 RL 환경인 gym-city를 구축했다.
• 에이전트는 각 단계에서 전체 게임 보드를 관찰하고 어떤 타일에도 행동을 취할 수 있어, 전체 상태 시각화를 통한 전역 정책 학습이 가능하다.
• 재귀적 가중치 공유와 계층적 깊이를 가진 프랙탈 신경망 아키텍처를 구현하여, 지도 크기에 따라 동일한 핵심 블록을 다른 깊이에서 잘라내는 방식으로 스케일에 민감하지 않은 정책 학습을 가능하게 했다.
• 정확히 컨볼루션(StrictlyConv), 완전 컨볼루션(FullyConv), 그리고 내부 및 상하 블록 간 가중치 공유를 갖춘 프랙탈 블록을 포함한 아키텍처를 구성하여 분석 및 비교를 위해 사용했다.
• 환경은 인간-중심 상호작용을 지원한다: 인간의 행동은 큐에 저장되어 훈련 중에 에이전트 행동으로 간주되며, 하이브리드 학습이 가능하다.
• 모델은 시미티시티 1과 콘웨이의 생명게임에서 모두 인구를 최대화하도록 훈련되었으며, 다양한 지도 크기(예: 16×16, 32×32, 64×64)에서 성능을 평가했다.

실험 결과

연구 질문

• RQ1 재귀적이고 가중치 공유 구조를 가진 프랙탈 신경망이 도시 시뮬레이션 및 세포자동화 환경에서 다양한 지도 크기에서 정책을 일반화할 수 있는가?
• RQ2 정책 네트워크의 수용장역 크기가 국소적이지 않고 전역적인 전략이 필요한 작업에서 성능에 어떤 영향을 미치는가?
• RQ3 훈련 중 인간의 행동이 상호작용 기반 시뮬레이션 환경에서 에이전트의 학습 정책에 얼마나 영향을 미치거나 형성하는가?
• RQ4 프랙탈 네트워크의 컬럼 간 가중치 공유가 개별 하위망을 별도로 훈련하는 것에 비해 일반화 및 성능 향상에 기여하는가?
• RQ5 단일 레이어를 재귀적으로 반복하는 최소화된, 매우 파rameter 효율적인 아키텍처가 공간 추론 작업에서 더 큰 표준 컨볼루션 네트워크의 성능을 따라하거나 능가할 수 있는가?

주요 결과

• StrictlyConv는 시미티시티 1과 생명게임 양쪽 모두에서 FullyConv를 항상 동일하거나 뛰어넘는 성능을 보이며, 재귀적이고 파rameter 효율적인 구조가 일반화 성능을 향상시킨다는 것을 시사한다.
• 내부 및 상하 블록 간 가중치 공유를 갖춘 8층 프랙탈 컬럼은 생명게임에서 FullyConv를 능가하며, 더 큰 수용장역이 전역 작업에서 성능 향상에 기여한다는 것을 시사한다.
• 단일 또는 이중 레이어 프랙탈 네트워크는 가장 열악한 성능을 보이며, 깊이가 얕은 수용장역은 복잡한 공간적 역학을 포착하기에 부족하다는 것을 시사한다.
• 더 큰 보드에서 초기 인구가 감소할 경우, 에이전트는 전략을 자동으로 스케일링하여 효과적으로 대응함을 보이며, 높은 국소적 활동이 효과적인 전역 계획 수립을 저해할 수 있음을 시사한다.
• 에이전트 구조 근처에 인간 플레이어가 건물을 세우면 종종 즉각적인 에이전트 반응이 발생함을 관찰하였으며, 이는 에이전트가 외부 간섭에 적응적으로 반응할 수 있음을 보여준다.
• 프랙탈 블록에서의 가중치 공유를 통해 파라미터 수를 극적으로 감소시키면서도 경쟁 가능한 성능을 유지함을 확인하였으며, 이는 학습된 공간 패턴의 효율적 재사용을 가능하게 한다.