[論文レビュー] Evaluation of Deep Reinforcement Learning Methods for Modular Robots

Risto Kojcev, Nora Etxezarreta+2 more|arXiv (Cornell University)|Feb 7, 2018

Reinforcement Learning in Robotics参考文献 1被引用数 4

ひとこと要約

本論文は、モジュラー・ロボットにおけるエンドツーエンドの深層強化学習（DRL）を可能にする、ROSおよびGazeboベースの新規フレームワークを提示している。このフレームワークにより、ジョイント状態からの直接学習とシミュレーションから実世界へのスムーズな移行が実現された。本研究では、シミュレーション時間を1msに加速させることで、ポリシーの収束性と実世界での性能が著しく向上することを示した。PPOベースのエージェントは、構造的複雑性の増加にもかかわらず、3DoFおよび4DoFのScaraロボットにおいて25mm未満のエンドエフェクタ誤差を達成した。

ABSTRACT

We propose a novel framework for Deep Reinforcement Learning (DRL) in modular robotics using traditional robotic tools that extend state-of-the-art DRL implementations and provide an end-to-end approach which trains a robot directly from joint states. Moreover, we present a novel technique to transfer these DLR methods into the real robot, aiming to close the simulation-reality gap. We demonstrate the robustness of the performance of state-of-the-art DRL methods for continuous action spaces in modular robots, with an empirical study both in simulation and in the real robot where we also evaluate how accelerating the simulation time affects the robot's performance. Our results show that extending the modular robot from 3 degrees-of-freedom (DoF), to 4 DoF, does not affect the robot's learning. This paves the way towards training modular robots using DRL techniques.

研究の動機と目的

• ROS や Gazebo といった伝統的なロボティクスツールを統合することで、DRLを用いたモジュラー・ロボットのスケーラビリティと移行課題を解決すること。
• 訓練済みポリシーを直接実ハードウェアにマッピングする新規な移行技術を用いて、シミュレーションと実世界のギャップを埋めること。
• さまざまな自由度を有するモジュラー・ロボットにおけるDRLポリシー性能に及ぼすシミュレーション速度の影響を評価すること。
• 最新のDRLアルゴリズム（例：PPO）を用いて、ジョイント状態からモーターコマンドへのエンドツーエンドの学習を可能にすること。
• 3DoFから4DoFへのモジュラー・ロボットのスケーリングに際して、DRL手法の頑健性を実証すること。

提案手法

• フレームワークはGazeboを用いて物理シミュレーションを実行し、ROSを用いてロボット制御を実現することで、DRLエージェントとシミュレートされたモジュラー・ロボットとのリアルタイム相互作用を可能にした。
• ロボット制御に特化したカスタム環境をOpenAI Gymに拡張し、ジョイント状態入力とアクション空間出力をサポートした。
• プロキシマル・ポリシー最適化（PPO）をDRLのコアアルゴリズムとして採用し、確率比のクリッピングに基づくポリシー更新により、安定した学習を実現した。
• 報酬関数は、エンドエフェクタ位置とターゲットとの間の正規化されたRMSEとして定義され、収束を促進するための密度の高い形状づけが施された。
• 軌道実行時間を1秒から1msまで変化させ、シミュレーション速度が学習効率および実世界への移行に与える影響を調査した。
• 訓練済みポリシーは、バーチャルドライバーやROS制御ノードを介して、実際の3DoFおよび4DoFのScaraロボットに直接デプロイされた。

実験結果

リサーチクエスチョン

• RQ1 シミュレーション時間を加速させることで、モジュラー・ロボット制御におけるDRLポリシーの収束性と性能が向上するか？
• RQ2 シミュレーションで訓練されたPPOベースのDRLエージェントが、微調整なしに実世界のモジュラー・ロボットに一般化可能か？
• RQ3 ロボットの自由度を3DoFから4DoFに増加させることで、学習性能およびポリシーの一般化性にどのような影響が生じるか？
• RQ4 実ハードウェアへの効果的な移行を実現するための最適なシミュレーション速度は何か？
• RQ5 伝統的なロボティクスツール（ROS、Gazebo）の使用が、モジュラー・ロボット構成におけるスケーラブルかつ再利用可能なDRL学習を可能にするか？

主な発見

• 3DoFロボットにおいて、1msの軌道実行時間で学習したPPO1およびPPO2は、最良の性能を示し、ターゲットとの平均ユークリッド距離は13.09±0.06 mmを達成した。
• 4DoFロボットでは、PPO1が10msの実行時間で最小誤差（20.33±0.23 mm）を記録したが、PPO2は1msで最良の性能（58.19±0.03 mm）を示した。
• 1msのシミュレーション速度で学習したPPO1およびPPO2は、1秒よりも収束が早く、実世界での性能も優れていた。これは、加速されたシミュレーションがサンプル効率を向上させることを示している。
• 4DoFロボットはシミュレーション速度に対してより感受性が高く、PPO1では100ms、PPO2では1秒で性能が著しく低下した。これは、時間スケーリングに非単調な影響がある可能性を示唆している。
• 構造的複雑性の増加にもかかわらず、3DoFから4DoFへの拡張により学習性能が劣化しなかった。これは、DRLフレームワークが構造的変更に対して頑健であることを示している。
• 最小限の再設定で、訓練済みポリシーを実ロボットに直接デプロイ可能であり、エンドツーエンドの移行能力が妥当であることが実証された。