[論文レビュー] Flatland: a Lightweight First-Person 2-D Environment for Reinforcement Learning

Hugo Caselles-Dupré, Louis Annabi+3 more|arXiv (Cornell University)|Sep 3, 2018

Reinforcement Learning in Robotics参考文献 13被引用数 10

ひとこと要約

Flatland は、シンプルなグリッドワールドと複雑な3Dシミュレータの間のギャップを埋めるために設計された軽量で2次元の1人称強化学習環境である。部分的に観察可能な、物理ベースのナビゲーションタスクを提供することで、1Dの視覚的観測を用い、VizDoomにおける類似タスクと比較して、2桁の速度向上で収束を達成する。

ABSTRACT

Flatland is a simple, lightweight environment for fast prototyping and testing of reinforcement learning agents. It is of lower complexity compared to similar 3D platforms (e.g. DeepMind Lab or VizDoom), but emulates physical properties of the real world, such as continuity, multi-modal partially-observable states with first-person view and coherent physics. We propose to use it as an intermediary benchmark for problems related to Lifelong Learning. Flatland is highly customizable and offers a wide range of task difficulty to extensively evaluate the properties of artificial agents. We experiment with three reinforcement learning baseline agents and show that they can rapidly solve a navigation task in Flatland. A video of an agent acting in Flatland is available here: https://youtu.be/I5y6Y2ZypdA.

研究の動機と目的

• 生涯学習研究における、シンプルなグリッドワールドと複雑な3DRL環境の間の中間ベンチマークの欠如に対処すること。
• 部分的観察性や1人称視点といった実世界の特徴を保持しつつ、高速でカスタマイズ可能で計算コストが低い環境を提供すること。
• トレーニング時間と計算コストを削減することで、RL研究における迅速な実験と統計的有意性の確保を可能にすること。
• 最小限の感覚入力で、次第に複雑化するナビゲーションタスクに対するRLエージェントの評価に適したスケーラブルなプラットフォームを提供すること。
• 将来的な拡張として、マルチエージェント相互作用、オブジェクト操作、マルチモーダルセンシングをサポートすること。

提案手法

• Flatland は、連続的な物理法則と離散的アクションを備えた2次元、1人称、部分的に観察可能な環境であり、実世界のセンサーモーター動的特性を模倣する。
• 視覚的観測を2次元画像ではなく1次元にすることで、感覚次元を低減し、トレーニングを高速化する。
• 既存のRLフレームワークとのシームレスな統合を可能にするために、OpenAI Gym API互換性を採用している。
• 障害物、オブジェクト、エージェントの物理的特性をカスタマイズ可能にすることで、多様なタスク設定を可能にする。
• 拡張性を考慮した設計となっており、将来的にマルチエージェント相互作用、オブジェクト操作、追加センサーのサポートを計画している。
• 果物と毒のあるオブジェクトを含むナビゲーションタスクにおいて、3つの標準的なRLアルゴリズム（DQN、A3C、DFP）を1次元畳み込みネットワークを用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 1Dの視覚的観測を備えた軽量な2次元1人称環境は、3Dシミュレータと比較して、RLエージェントのトレーニングをより高速かつ効率的に行えるか？
• RQ2 簡素化された感覚ストリームは、計算コストを削減しながらも、実世界のナビゲーションタスクの複雑さをどの程度維持できるか？
• RQ3 最小限の状態情報を持つ部分的に観察可能な物理ベースの2次元環境において、標準的なRLアルゴリズムが迅速に収束するか？
• RQ4 FlatlandにおけるRLエージェントのパフォーマンスは、VizDoomのようなより複雑な3D環境における類似タスクと比較してどうか？
• RQ5 Flatlandは、生涯学習や将来的なマルチエージェント・マルチモーダルRL研究のベンチマークとして、どの程度の可能性を秘めているか？

主な発見

• DQN、A3C、DFPの3つのベースラインRLアルゴリズムすべてが、環境を素早く学習し、ナビゲーションタスクでほぼ人間水準のパフォーマンス（約300の報酬）を達成した。
• 収束は約200,000ステップで達成され、VizDoomにおける類似実験と比較して、トレーニングステップ数が2桁減少した。
• CPU上でDQNをトレーニングするのに1時間未満で完了したため、1次元畳み込みと低次元の感覚入力のおかげで計算コストが著しく低いことが示された。
• 1次元の視覚ストリームにより、ネットワークのパラメータ数と1ステップあたりのトレーニング時間が両方とも削減され、最適化が高速化され、実験がより効率的になった。
• 低次元の感覚入力でもタスクの複雑さを維持しつつ、トレーニング速度とスケーラビリティを著しく向上させられることを確認した。
• 30個の独立したシードを用いた実験により、再現性があり迅速な実験が可能で、RL評価における統計的有意性のベストプラクティスを満たしている。