[論文レビュー] Marathon Environments: Multi-Agent Continuous Control Benchmarks in a Modern Video Game Engine

Joe Booth, Jackson Booth|arXiv (Cornell University)|Feb 25, 2019

Human Pose and Action Recognition参考文献 9被引用数 6

ひとこと要約

この論文では、UnityゲームエンジンとML-Agentsツールキットを用いて開発された、マルチエージェント連続制御ベンチマークのオープンソースセット「Marathon Environments」を紹介する。本研究では、モーションキャプチャデータから得た歩行、走行、バックフリップなどの高度な深層強化学習ポリシーが、最適化されたトレーニング戦略により、商用ゲームエンジンでも効果的に学習可能であることを示している。その結果、トレーニング時間の顕著な短縮が達成された。

ABSTRACT

Recent advances in deep reinforcement learning in the paradigm of locomotion using continuous control have raised the interest of game makers for the potential of digital actors using active ragdoll. Currently, the available options to develop these ideas are either researchers' limited codebase or proprietary closed systems. We present Marathon Environments, a suite of open source, continuous control benchmarks implemented on the Unity game engine, using the Unity ML- Agents Toolkit. We demonstrate through these benchmarks that continuous control research is transferable to a commercial game engine. Furthermore, we exhibit the robustness of these environments by reproducing advanced continuous control research, such as learning to walk, run and backflip from motion capture data; learning to navigate complex terrains; and by implementing a video game input control system. We show further robustness by training with alternative algorithms found in OpenAI.Baselines. Finally, we share strategies for significantly reducing the training time.

研究の動機と目的

• 学術的な強化学習研究と実世界のゲームエンジンへの展開の間のギャップを埋めるために、アクセス可能でオープンソースのベンチマークを提供すること。
• シミュレーテッド環境で学習された連続制御ポリシーが、Unityのような商用ゲームエンジンに堅牢に転送可能であることを実証すること。
• モーションキャプチャデータを活用して、複雑で動的な環境におけるマルチエージェントシステムの学習を可能にするスケーラブルで拡張可能なプラットフォームを提供すること。
• ハイパーパramータチューニングと環境設計の最適化を通じて、深層強化学習ベンチマークにおけるサンプル効率と時間効率を低下させること。

提案手法

• 著者らは、ML-Agentsツールキットを用いて、Unityゲームエンジン内でマルチエージェント学習をサポートする連続制御環境のセットを実装した。
• モーションキャプチャデータをデモとして用いて、歩行、走行、バックフリップなどの複雑な運動行動をサポートする環境を設計した。
• ビデオゲーム入力制御システムを統合し、人間の動作に類似した制御と学習済みポリシーの評価を可能にした。
• 複数の強化学習アルゴリズムでのトレーニングをサポートしており、アルゴリズム間の検証と耐性テストが可能である。
• ハイパーパramータ最適化と環境レベルの工学的最適化（状態正規化、報酬形状設計など）により、トレーニング効率を向上させた。
• 従来の研究環境と同等の最先端の結果を再現することで、システムの妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 モーションキャプチャデータを用いた複雑な運動制御のための深層強化学習ポリシーは、Unityのような商用ゲームエンジンで効果的に学習可能か？
• RQ2 Marathon Environmentsで学習された連続制御ポリシーの性能は、従来の研究環境におけるものと比べてどうか？
• RQ3 モーションキャプチャデータは、シミュレーテッドマルチエージェント環境におけるポリシー学習を効果的に支援できるか、その程度はいかほどか？
• RQ4 どのようなトレーニング最適化が、連続制御ベンチマークにおけるサンプル効率と時間効率の向上に顕著に寄与するか？
• RQ5 同じ環境が、多様なアルゴリズムとマルチエージェント協調タスクを同時にサポートできるか？

主な発見

• Marathon Environmentsフレームワークは、モーションキャプチャデータを用いて、歩行、走行、バックフリップといった複雑な運動行動の学習を成功裏に実現した。
• 複数の強化学習アルゴリズムにわたる安定したパフォーマンスを達成したため、ポリシーの堅牢性と転送可能性が裏付けられた。
• ビデオゲーム入力システムの統合により、直接的人間による評価と学習済み行動の検証が可能になった。
• 環境レベルの最適化とハイパーパramータチューニングにより、サンプル数とウォールクロック時間の両方で顕著な短縮が達成された。
• マルチエージェントのトレーニングと協調動作が可能であり、単一エージェントタスクをはるかに超えたスケーラビリティが確認された。
• ベンチマークセットのオープンソース性により、研究コミュニティ全体が再現性を保ちつつ拡張が可能になった。