[論文レビュー] Unity: A General Platform for Intelligent Agents

Arthur Juliani, Vincent-Pierre Berges+9 more|arXiv (Cornell University)|Sep 7, 2018

Reinforcement Learning in Robotics参考文献 78被引用数 558

ひとこと要約

本論文は、UnityやUnity ML-Agents Toolkitに代表される現代のゲームエンジンが、豊かで構成可能なAI学習環境を作成する一般的なプラットフォームとして機能し得ることを主張し、これが多様なRL研究をどのように可能にするかを概観する。

ABSTRACT

Recent advances in artificial intelligence have been driven by the presence of increasingly realistic and complex simulated environments. However, many of the existing environments provide either unrealistic visuals, inaccurate physics, low task complexity, restricted agent perspective, or a limited capacity for interaction among artificial agents. Furthermore, many platforms lack the ability to flexibly configure the simulation, making the simulated environment a black-box from the perspective of the learning system. In this work, we propose a novel taxonomy of existing simulation platforms and discuss the highest level class of general platforms which enable the development of learning environments that are rich in visual, physical, task, and social complexity. We argue that modern game engines are uniquely suited to act as general platforms and as a case study examine the Unity engine and open source Unity ML-Agents Toolkit. We then survey the research enabled by Unity and the Unity ML-Agents Toolkit, discussing the kinds of research a flexible, interactive and easily configurable general platform can facilitate.

研究の動機と目的

• 感覚、物理、タスクロジック、社会的複雑性の潜在性に基づくシミュレーションプラットフォームの分類法を提案する。
• UnityとUnity ML-Agents Toolkitを、豊かで構成可能なAI研究環境を可能にする一般プラットフォームとして評価する。
• Unity/ML-Agentsによって実現された既存の研究を調査し、進捗のボトルネックと一般プラットフォーム駆動の進展機会を特定する。

提案手法

• 感覚、物理、タスクロジック、社会的複雑性の4軸分類を導入する。
• Unityエンジンの特性を分析し、それらが環境軸（グラフィックス、物理、スクリプティング、多エージェントサポート）をどのように実現しているかを説明する。
• Unity ML-Agents Toolkitのアーキテクチャ（Agents、Academy、Sensors）と環境相互作用のためのPython APIを提示する。
• ML-Agents SDKとその構成要素（policies、behaviors、rewards）およびそれらがUnityシーンとどのように統合されるかを説明する。
• パフォーマンスベンチマークを提供し、Unity環境内でのカリキュラム学習、ドメインランダム化、拡張性（ICM、LSTM）について議論する。）

実験結果

リサーチクエスチョン

• RQ1 ゲームエンジンは、豊かな感覚、物理、タスク、社会的複雑性を備えたAI研究の一般プラットフォームとしてどのように機能できるか？
• RQ2 RLのための柔軟で構成可能な学習環境を作成する Unity の機能は何か？
• RQ3 Unity ML-Agentsのアーキテクチャと、Unity環境でエージェントを展開・訓練するワークフローは何か？
• RQ4 Unityのような一般プラットフォームをRLのベンチマークと実験に利用する際の研究の可能性と制限は何か？

主な発見

Environment	Observation Type	# Agents	Mean (ms)	Std (ms)
Basic	Vector(1)	1	0.803	0.005
3D Ball	Vector(8)	12	5.05	0.039
GridWorld	Visual(84x84x3)	1	2.04	0.038
Visual Food Collector	Visual(84x84x3)	4	9.23	0.556

• UnityはPhysX/Havokを介した高忠実度のビジュアルと柔軟な物理シミュレーションを可能にする（オプションのサードパーティエンジンを含む）。
• ML-Agents Toolkitは、Agents、Academy、sensors、およびRLと模倣学習法のトレーニングに用いるPython APIを含む再利用可能なSDKを提供する。
• シミュレーションはリアルタイムを上回る速度で実行でき、分散化が可能で、速度向上のためにレンダリングを有効/無効にするオプションがある。
• カリキュラム学習とドメインランダム化は、Academy内のランタイム環境パラメータ変更と再サンプリングを通じてサポートされる。
• gym互換のPythonインターフェースは、既存のRLワークフローとベンチマークとの統合を容易にする。
• プラットフォームはマルチエージェントの協働と競争、自己対戦（self-play）、およびICMやLSTMなどのモジュールによる学習信号の充実化をサポートする。）