[論文レビュー] Map-less Navigation: A Single DRL-based Controller for Robots with Varied Dimensions

Wei Zhang, Yunfeng Zhang+1 more|arXiv (Cornell University)|Feb 15, 2020

Reinforcement Learning in Robotics参考文献 29被引用数 5

ひとこと要約

本論文は、再訓練を必要とせず、さまざまなサイズや回転速度制限を持つロボットを制御できる1つのディープ強化学習（DRL）ベースのメタエージェントを可能にする次元可変スキル転送（DVST）手法を提案する。メタエージェントと次元スケーリングされたロボット間で観測値と方策をスケーリングすることにより、未知で動的な環境において地図なしのナビゲーションを実現する。

ABSTRACT

Deep reinforcement learning (DRL) has shown great potential in training control agents for map-less robot navigation. However, the trained agents are generally dependent on the employed robot in training or dimension-specific, which cannot be directly reused by robots with different dimensional configurations. To address this issue, a DRL-based dimension-variable robot navigation method is proposed in this paper. The proposed approach trains a meta-agent with DRL and then transfers the meta-skill to a robot with a different dimensional configuration (named dimension-scaled robot) using a method named dimension-variable skill transfer (DVST). During the training phase, the meta-agent learns to perform self-navigation with the meta-robot in a simulation environment. In the skill-transfer phase, the observations of the dimension-scaled robot are transferred to the meta-agent in a scaled manner, and the control policy generated by the meta-agent is scaled back to the dimension-scaled robot. Simulation and real-world experimental results indicate that robots with different sizes and angular velocity bounds can accomplish navigation tasks in unknown and dynamic environments without any retraining. This work greatly extends the application range of DRL-based navigation methods from the fixed dimensional configuration to varied dimensional configurations.

研究の動機と目的

• DRLベースのナビゲーションエージェントが特定のロボット次元に束縛され、異なるサイズのロボットへの再利用が制限されるという制限に対処する。
• メタエージェントから物理的次元や運動制約が異なるロボットへナビゲーション方策をゼロショット転送することを可能にする。
• 未知かつ動的な環境で再訓練なしにナビゲーション性能を維持するスケーラブルな手法を開発する。
• 固定構成のロボットにとどまらず、より広範なロボットプラットフォームへまでDRLベースのナビゲーションを拡張することを可能にする。

提案手法

• 特定の次元と運動プロファイルを持つメタロボットを用いてシミュレーションでメタエージェントを訓練し、ディープ強化学習を用いて自己ナビゲーションを学習する。
• 幾何的スケーリングを用いて、次元スケーリングされたロボットからの観測値をメタエージェントにマッピングする次元可変スキル転送（DVST）を実装する。
• 次元固有の変換を用いて、メタエージェントが出力する行動を次元スケーリングされたロボットの制御空間にスケーリングし直す。
• 動的障害物や未知のレイアウトを含む多様なナビゲーションタスクをシミュレーション環境で訓練する。
• 観測値と行動の比例スケーリングを維持することで、異なるサイズや回転速度制限を持つロボットに同一方策を適用する。
• 次元のばらつきに対する耐性を高めるために、メタエージェントをロボット構成の分布にわたって訓練し、方策の一般化を確保する。

実験結果

リサーチクエスチョン

• RQ1 1つのDRLベースのメタエージェントが、再訓練なしに顕著に異なる物理的次元を持つロボットへ一般化可能か？
• RQ2 次元可変スキル転送（DVST）は、サイズや回転速度制限が異なるロボット間でゼロショット方策転送をどの程度効果的に可能にするか？
• RQ3 転送された方策は、未知で動的な環境においてどの程度ナビゲーション性能を維持するか？
• RQ4 次元が異なるロボット間で一貫した方策性能を確保するためのスケーリング戦略は何か？

主な発見

• 提案されたDVST手法により、異なるサイズや回転速度制限を持つロボットに対して、再訓練なしに未知で動的な環境でのナビゲーションが成功した。
• シミュレーション結果から、メタエージェントの方策がサイズ差最大2.5倍、回転速度制限差最大3倍のロボット間でも一般化することが示された。
• 実世界の実験により、異なる次元を持つ実機ロボットでも、転送された方策が安定したナビゲーション性能を達成することが確認された。
• 障害物が予測不能に動く複雑な動的環境でも、高い成功率を維持した。
• タスク固有の再訓練の必要がなくなるため、新しいロボット構成の展開にかかる時間と計算コストを大幅に削減した。
• 複数のロボットプラットフォームにわたる実験により、方策転送のスケーラビリティが検証され、次元のばらつきに対して高い耐性があることが示された。