[論文レビュー] Terrain RL Simulator

Glen Berseth, Xue Bin Peng+1 more|arXiv (Cornell University)|Apr 17, 2018

Robotic Locomotion and Control参考文献 8被引用数 3

ひとこと要約

この論文では、ランダムに生成された地形を組み込んで、標準的なベンチマークをはるかに超える課題の難易度を向上させるために、89の挑戦的な連続制御環境を備えた TerrainRLSim というライブラリを紹介する。このライブラリは、多様なエージェントの形状、複数の制御パラダイム（トルク、位置、速度、筋肉ベース）および地形認識をサポートしており、階層的強化学習や継続的学習分野の研究を可能にする。

ABSTRACT

We provide $89$ challenging simulation environments that range in difficulty. The difficulty of solving a task is linked not only to the number of dimensions in the action space but also to the size and shape of the distribution of configurations the agent experiences. Therefore, we are releasing a number of simulation environments that include randomly generated terrain. The library also provides simple mechanisms to create new environments with different agent morphologies and the option to modify the distribution of generated terrain. We believe using these and other more complex simulations will help push the field closer to creating human-level intelligence.

研究の動機と目的

• 深層強化学習のための十分に挑戦的な連続制御環境の不足に対処すること。
• 変動する地形の幾何学的形状と分布を組み込むことで、行動空間の複雑さと認識の要求を高め、課題の難易度を向上させること。
• パラメータ化された地形生成と柔軟なエージェントの形状を用いて、新しいカスタマイズ可能な環境の作成を可能にすること。
• 階層的強化学習や継続的学習などの高度な強化学習技術を、新しい環境設計を通じて支援すること。
• シミュレーションにおける現実的な物理的制約とアフォーダンスをモデル化することで、頑健で一般化可能な方策の開発を促進すること。

提案手法

• Bullet 物理エンジンを用いて高精度な動的挙動とリアルタイム性能を実現する物理ベースのシミュレーション環境を設計すること。
• 局所的な地形状態特徴（例：高さ、勾配）を観測ベクトルの一部として露出させ、畳み込みネットワークによる処理を最優先にすること。
• トルク、所望の速度、所望の位置、筋肉活性化の複数の行動表現空間を実装し、多様な制御戦略を可能にすること。
• エピソードごとに地形の複雑さ、形状、分布を変化させることで、課題の多様性を高めるパラメータ化された地形生成を導入すること。
• 設定可能なランダムシードとモジュラーな環境構築を用いて、再現性のあるトレーニングを支援し、拡張性を確保すること。
• 既存のモーションキャプチャデータを統合し、マルチエージェントおよびマルチタスク学習のシナリオ（例：PLAiD）を含めるように環境を拡張すること。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションにおける地形の多様性が、標準的なベンチマークをはるかに超えて連続制御課題の難易度をどのように向上させるか。
• RQ2 階層的強化学習は、複雑でランダムに生成された地形環境において、歩行課題を効果的に解けるか。
• RQ3 異なる行動表現空間（例：筋肉ベース vs. トルク）が、動的地形における方策学習と一般化にどのように影響するか。
• RQ4 現実的な物理パrameter（例：関節トルク制限、摩擦、減衰）の組み込みが、強化学習環境の現実性と難易度をどの程度向上させるか。
• RQ5 提案された環境は、連続制御設定におけるマルチタスクおよび継続的学習をサポートできるか。

主な発見

• 89の異なるシミュレーション環境が含まれており、ランダムに生成された地形を持つが、多くの環境は標準的な DRL 手法では未解決のままである。
• 特に複雑な地形や動的障害物を伴う環境では、成功した方策学習を達成するためには階層的強化学習が必要となる。
• 地形状態特徴を観測ベクトルに統合することで、認識ベースの制御に畳み込みネットワークを効果的に活用できるようになった。
• 筋肉ベースの制御と複数のアクチュエータモデルの統合により、適用可能な強化学習アルゴリズムの範囲が拡大され、より生物学的に現実的な学習が可能になった。
• 最適化された Bullet 物理エンジンのおかげで、高精度で再現性のあるシミュレーションが実現され、トレーニングおよび評価に適したパフォーマンスを発揮する。
• このライブラリは、継続的およびマルチタスク強化学習分野における新規な研究を可能にし、PLAiD などの専用環境を通じて 3D 連続制御におけるこのようなシナリオを支援する。