[論文レビュー] gym-gazebo2, a toolkit for reinforcement learning using ROS 2 and Gazebo

Nestor Gonzalez Lopez, Yue Leire Erro Nuin+5 more|arXiv (Cornell University)|Mar 14, 2019

Reinforcement Learning in Robotics参考文献 21被引用数 25

ひとこと要約

この論文では、ROS 2 および Gazebo をベースにした強化学習用ツールキットである gym-gazebo2 を紹介する。これは、ロボット工学用途に特化した OpenAI Gym の拡張であり、ミリメートル単位の精度でモジュラーロボットアーム（例：MARA）の学習を可能にする。PPO を用いたポリシーの転送が成功し、衝突回避を伴う位置制御および姿勢制御の複雑なタスクにおいて安定した収束が達成された。

ABSTRACT

This paper presents an upgraded, real world application oriented version of gym-gazebo, the Robot Operating System (ROS) and Gazebo based Reinforcement Learning (RL) toolkit, which complies with OpenAI Gym. The content discusses the new ROS 2 based software architecture and summarizes the results obtained using Proximal Policy Optimization (PPO). Ultimately, the output of this work presents a benchmarking system for robotics that allows different techniques and algorithms to be compared using the same virtual conditions. We have evaluated environments with different levels of complexity of the Modular Articulated Robotic Arm (MARA), reaching accuracies in the millimeter scale. The converged results show the feasibility and usefulness of the gym-gazebo 2 toolkit, its potential and applicability in industrial use cases, using modular robots.

研究の動機と目的

• ROS 2 および Gazebo を用いたスケーラブルで生産環境対応の強化学習フレームワークの開発。
• 元の gym-gazebo の制限を克服するため、使いやすさと保守性を高めたソフトウェアアーキテクチャの再設計。
• モジュラーアーチレートドロボットアームにおける強化学習アルゴリズムのベンチマークを、一貫した仮想環境下で可能にする。
• 正確なシミュレーションとドメインランダマイゼーションの可能性を活用して現実とのギャップを最小限に抑え、実世界への転送性を高める。
• 多様なグリッパー、センサ、制御モダリティをサポートするコミュニティ主導の開発と拡張を促進する。

提案手法

• ROS 2 のネイティブ Python クライアントライブラリを統合し、起動および初期化ワークフローの改善を実現。
• 元の gym-gazebo フォークに依存せず、構造的依存関係を持たずに OpenAI Gym に環境を登録する独立したライブラリとして設計。
• 新しいロボットプラットフォームの統合を容易にするモジュラーフレームワークを採用した、ロボット固有のアーキテクチャ。
• 学習率の減衰とクリッピング範囲を含む、設定可能なハイパーパramータを備えた Proximal Policy Optimization (PPO) を採用。
• 位置誤差と姿勢誤差の重み付き組み合わせを用いた報酬形状設計を行い、タスクの目的をバランスさせるために beta ハイパーパラメータを最適化。
• ドメインランダマイゼーションと RNN 組み込みをサポートし、環境の変動に対する耐性を強化。

実験結果

リサーチクエスチョン

• RQ1 ROS 2 ネイティブの強化学習ツールキットは、仮想環境内でのモジュラーロボットアームの正確で再現可能なトレーニングを可能にするか？
• RQ2 位置制御および姿勢制御タスクにおいて、報酬形状の異なる設定における PPO のパフォーマンスはどのように変化するか？
• RQ3 シミュレーテッドポリシーは、最小限のファインチューニングで実世界のロボットシステムにどれほど転送可能か？
• RQ4 ハイパーパラメータの選択、特に報酬関数における beta の値が収束速度と最終的な正確性に与える影響は何か？
• RQ5 グリッパー や力/トルクセンサなどの多様なロボット部品をサポートするため、ツールキットはどのようにアーキテクチャ設計されるべきか？

主な発見

• MARAOrient 環境では、x 軸方向に 3.03±1.89 mm、y 軸方向に 8.95±2.54 mm、z 軸方向に 5.85±4.38 mm の平均距離誤差を達成し、姿勢誤差は 0.71±0.29°、1.61±1.25°、7.52±2.48°であった。
• MARACollisionOrient 環境では、x 軸方向に 7.43±3.07 mm、y 軸方向に 4.69±2.37 mm、z 軸方向に 5.18±3.44 mm の平均距離誤差を達成し、姿勢誤差は 2.62±3.80°、4.06±2.20°、6.43±6.81°であった。
• MARAOrient タスクにおける beta = 1.1 の使用により、位置と姿勢の報酬をバランスさせることでポリシーの安定性と収束性が向上した。
• MARACollisionOrient タスクでは、1 エピソードあたり 1024 ステップ（2048 ステップ対比）で収束が必要であったため、軌道長に敏感であることが示された。
• ツールキットは安定したトレーニングとポリシー転送の可能性を示し、エントロピーと報酬曲線が実験全体で一貫した学習ダイナミクスを示した。
• ドメインランダマイゼーションと RNN ベースのポリシーを今後サポートすることで、動的または不確実な環境における耐性を高められる。