[論文レビュー] Bipedal Walking Robot using Deep Deterministic Policy Gradient

Arun Kumar, Navneet Paul+1 more|arXiv (Cornell University)|Jul 16, 2018

Robotic Locomotion and ControlEngineering参考文献 15被引用数 20

ひとこと要約

本論文では、Gazeboシミュレータ内で深層決定的方策勾配（DDPG）強化学習を用いて訓練された平面状の二足歩行ロボットを提示している。このロボットは、力学的知識を事前に持たないで試行錯誤によって学習し、速度と安定性を促進する報酬関数を用いることで、0.83 m/sの速度で安定した前進歩行を達成し、人間の歩行に類似した歩行パターンを示している。

ABSTRACT

Machine learning algorithms have found several applications in the field of robotics and control systems. The control systems community has started to show interest towards several machine learning algorithms from the sub-domains such as supervised learning, imitation learning and reinforcement learning to achieve autonomous control and intelligent decision making. Amongst many complex control problems, stable bipedal walking has been the most challenging problem. In this paper, we present an architecture to design and simulate a planar bipedal walking robot(BWR) using a realistic robotics simulator, Gazebo. The robot demonstrates successful walking behaviour by learning through several of its trial and errors, without any prior knowledge of itself or the world dynamics. The autonomous walking of the BWR is achieved using reinforcement learning algorithm called Deep Deterministic Policy Gradient(DDPG). DDPG is one of the algorithms for learning controls in continuous action spaces. After training the model in simulation, it was observed that, with a proper shaped reward function, the robot achieved faster walking or even rendered a running gait with an average speed of 0.83 m/s. The gait pattern of the bipedal walker was compared with the actual human walking pattern. The results show that the bipedal walking pattern had similar characteristics to that of a human walking pattern. The video presenting our experiment is available at https://goo.gl/NHXKqR.

研究の動機と目的

• 強化学習をGazeboロボットシミュレータに適用するためのフレームワークを開発すること。
• 連続的制御のための深層決定的方策勾配（DDPG）を平面的二足歩行者に実装および評価すること。
• ロボットが学習した歩行パターンを、光学的モーショングラフィックによる実際の人間の歩行データと比較すること。
• ロボットや環境の力学的特性を事前に知らずに、モデルフリー学習によって安定的で高速な歩行を実現できることを示すこと。

提案手法

• 二足歩行ロボットはSolidWorksでモデル化され、Gazeboシミュレータに統合するためURDF形式に変換された。
• ロボットの状態空間（12変数：股関節・膝関節の角度および速度、線形速度、接地接触状態）がDDPGエージェントの入力として使用された。
• 行動空間は、股関節および膝関節のトルクを制御する4つの連続的出力として定義された。
• 前進運動、安定性、エネルギー効率を促進する報酬関数が独自に設計され、より速く滑らかな歩行に対して高い報酬が与えられた。
• DDPGアルゴリズムは、リプレイバッファとターゲットネットワークを用いて、約41時間にわたりNVIDIA GTX 1050 Ti GPUで訓練された。
• ROSは、学習エージェントとGazeboシミュレーション間の通信インターフェースとして使用され、50 Hzの更新レートで動作した。

実験結果

リサーチクエスチョン

• RQ1 力学的特性を事前に知らずに、物理ベースのシミュレーション内においてDDPGが安定的で連続的な二足歩行を学習できるか？
• RQ2 DDPGで訓練された二足歩行ロボットの歩行パターンは、関節角度の軌跡と位相関係において、人間の歩行とどのように類似しているか？
• RQ3 シミュレートされた二足歩行ロボットにおいて、高速で安定した歩行を促進するのに最も効果的な報酬形状は何か？
• RQ4 モデルフリー強化学習は、平面的二足歩行システムにおいて、どの程度人間のような歩行を再現できるか？

主な発見

• DDPGで訓練された二足歩行ロボットは、41時間の学習後、10メートルの前進歩行を転倒せずに安定して達成した。
• ロボットは平均速度0.83 m/sに達し、効率的でダイナミックな歩行を示した。
• ロボットの股関節角度の軌跡は、およそ180度の位相差を示し、モーショングラフィックで観測された人間の歩行パターンと密接に一致した。
• 膝関節角度の周波数は股関節の約2倍であり、光学的モーショングラフィックデータによって確認された人間の歩行パターンと一致した。
• ロボットの歩行パターンは、位相ロックされた関節運動と滑らかな遷移を示し、人間の歩行と類似した特徴を示した。
• シミュレーション結果から、DDPGが連続的行動空間における二足歩行のための複雑な非線形制御方策を効果的に学習できることを示した。