[논문 리뷰] Unity: A General Platform for Intelligent Agents

Arthur Juliani, Vincent-Pierre Berges외 9명|arXiv (Cornell University)|2018. 09. 07.

Reinforcement Learning in Robotics참고 문헌 78인용 수 558

한 줄 요약

이 논문은 현대 게임 엔진, Unity 및 Unity ML-Agents Toolkit으로 대표되는 것이 Rich configurable AI learning environments를 위한 일반 플랫폼이 될 수 있으며, 이를 조사해 다양한 RL 연구를 가능하게 한다고 주장한다.

ABSTRACT

Recent advances in artificial intelligence have been driven by the presence of increasingly realistic and complex simulated environments. However, many of the existing environments provide either unrealistic visuals, inaccurate physics, low task complexity, restricted agent perspective, or a limited capacity for interaction among artificial agents. Furthermore, many platforms lack the ability to flexibly configure the simulation, making the simulated environment a black-box from the perspective of the learning system. In this work, we propose a novel taxonomy of existing simulation platforms and discuss the highest level class of general platforms which enable the development of learning environments that are rich in visual, physical, task, and social complexity. We argue that modern game engines are uniquely suited to act as general platforms and as a case study examine the Unity engine and open source Unity ML-Agents Toolkit. We then survey the research enabled by Unity and the Unity ML-Agents Toolkit, discussing the kinds of research a flexible, interactive and easily configurable general platform can facilitate.

연구 동기 및 목표

• 환경의 복잡성(감각, 물리, 작업 로직, 사회성) 가능성에 따른 시뮬레이션 플랫폼의 분류 체계 제안.
• Unity와 Unity ML-Agents Toolkit을 풍부하고 구성 가능한 AI 연구 환경을 가능하게 하는 일반 플랫폼으로 평가.
• Unity/ML-Agents로 가능해진 기존 연구를 조사하고, 일반 플랫폼 주도형 발전의 진전 병목과 기회를 식별.

제안 방법

• 감각, 물리, 작업 로직, 사회적 복잡성의 4축 시뮬레이터 분류 체계를 소개한다.
• 그래픽, 물리, 스크립팅, 다중 에이전트 지원 등 환경 축을 구현하는 Unity 엔진 속성과 이를 분석.
• Unity ML-Agents Toolkit 아키텍처(Agents, Academy, Sensors)와 환경 상호작용을 위한 Python API를 제시.
• ML-Agents SDK 및 그 구성요소(정책, 행동, 보상)와 Unity 씬과의 통합 방법을 설명.
• 성능 벤치마크를 제공하고 Unity 환경 내에서 커리큘럼 학습, 도메인 랜덤화, 확장성(ICM, LSTM) 등을 논의한다.

실험 결과

연구 질문

• RQ1 감각, 물리, 작업, 사회적 복잡성이 풍부한 AI 연구를 위한 일반 플랫폼으로 게임 엔진이 어떻게 작동할 수 있는가?
• RQ2 RL을 위한 유연하고 구성 가능한 학습 환경을 만들기 위해 Unity가 제공하는 기능은 무엇인가?
• RQ3 Unity 환경에서 에이전트를 배치하고 학습시키기 위한 Unity ML-Agents의 아키텍처와 워크플로우는 무엇인가?
• RQ4 Unity 같은 일반 플랫폼을 RL 벤치마크와 실험에 사용할 때 어떤 연구 잠재력과 한계가 존재하는가?

주요 결과

환경	관찰 타입	# 에이전트	평균 (ms)	표준편차 (ms)
Basic	Vector(1)	1	0.803	0.005
3D Ball	Vector(8)	12	5.05	0.039
GridWorld	Visual(84x84x3)	1	2.04	0.038
Visual Food Collector	Visual(84x84x3)	4	9.23	0.556

• Unity는 PhysX/Havok를 통한 고충실도 시각화와 유연한 물리 시뮬레이션을 가능하게 한다(선택적 제3자 엔진 포함).
• ML-Agents Toolkit은 에이전트, 아카데미, 센서, 그리고 RL 및 모방학습 방법으로 학습하기 위한 Python API를 갖춘 재사용 가능한 SDK를 제공한다.
• 시뮬레이션은 실시간보다 빠르게 실행될 수 있고 분산될 수 있으며 속도 향상을 위해 렌더링을 활성화하거나 건너뛸 옵션이 있다.
• 커리큘럼 학습 및 도메인 랜덤화는 런타임 환경 매개변수 변경과 Academy의 재샘플링을 통해 지원된다.
• gym 호환 Python 인터페이스가 기존 RL 워크플로우와 벤치마크와의 통합을 용이하게 한다.
• 플랫폼은 다중 에이전트 협업 및 경쟁, 자기학습, 그리고 ICM, LSTM 같은 모듈로 학습 신호를 풍부하게 보강하는 것을 지원한다.