[論文レビュー] A Deep Reinforcement Learning Approach for Dynamically Stable Inverse Kinematics of Humanoid Robots

S Phaniteja, Parijat Dewangan+3 more|arXiv (Cornell University)|Jan 31, 2018

Robotic Locomotion and Control参考文献 19被引用数 6

ひとこと要約

本論文は、動的安定性を満たす人間型ロボットの逆運動学を解くために、深層強化学習（DRL）を用いた手法を提案している。この手法は、バランスを保ちながら到達タスクを実行するための関節空間軌道を学習し、エンドエフェクタの位置決め精度を90%に達成するとともに、ゼロモーメントポイント（ZMP）をサポート多角形内に保っている。これは、関節を有する体幹を含む複雑なポーズにおいても成立する。

ABSTRACT

Real time calculation of inverse kinematics (IK) with dynamically stable configuration is of high necessity in humanoid robots as they are highly susceptible to lose balance. This paper proposes a methodology to generate joint-space trajectories of stable configurations for solving inverse kinematics using Deep Reinforcement Learning (RL). Our approach is based on the idea of exploring the entire configuration space of the robot and learning the best possible solutions using Deep Deterministic Policy Gradient (DDPG). The proposed strategy was evaluated on the highly articulated upper body of a humanoid model with 27 degree of freedom (DoF). The trained model was able to solve inverse kinematics for the end effectors with 90% accuracy while maintaining the balance in double support phase.

研究の動機と目的

• 高冗長性を持つ人間型ロボットにおけるリアルタイムの逆運動学（IK）を、動的安定性制約のもとで解決すること。
• 特に二重サポートフェーズにおいてもバランスを保つ安定的で、衝突のない関節配置を学習すること。
• 行列の逆行列が不適切な場合や収束が一貫しないといった、従来の数値的IKソルバの限界を克服すること。
• 深層強化学習を活用し、安定性と自己衝突回避を伴って、複雑で高自由度の構成に一般化できるようにすること。
• 人間らしい運動生成を実現するため、関節を有する体幹を持つ27自由度の人間型モデルを用いて、本手法の有効性を検証すること。

提案手法

• 関節配置生成のための連続的アクション方策を学習するために、深層決定的方策勾配（DDPG）を用いる。
• エンドエフェクタの位置誤差、ZMPの安定性、自己衝突ペナルティを組み合わせた報酬関数を定義する。
• 学習の安定化とサンプル効率の向上のため、優先順位付き経験再生を用いたリプレイバッファを採用する。
• 方策とアクション価値関数の近似に、別個のエージェントとクライアントのニューラルネットワークを用いる。
• 連続的アクション空間における方策探索を促進するため、トレーニング中にオーランシュタイン＝ホルンバックノイズを導入する。
• 関節を有する体幹を持つ27自由度の人間型モデルを用い、模擬環境でエージェントを訓練することで、機敏性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 解析的または数値的ソルバに依存せずに、27自由度の人間型ロボットに対してDRLベースのアプローチが安定した逆運動学解を学習できるか。
• RQ2 DDPGは、複雑な到達タスクにおいてZMPをサポート多角形内に保つ方策をどれほど効果的に学習できるか。
• RQ3 関節を有する体幹は、学習されたポーズの実現可能性と人間らしい自然さをどの程度向上させるか。
• RQ4 訓練済みの方策は、自己衝突や不安定性を避けるとともに、多様な目標位置に一般化して機能するか。
• RQ5 収束性と安定性の観点から、DRLベースのIKソルバは従来の数値的手法に比べてどの程度優れているか。

主な発見

• DDPGベースのIKソルバは、9900回のトレーニングエピソードにおいて平均90%の精度を達成し、100個のランダムテストサンプルで最大93%の精度を示した。
• 正規化されたQ値と報酬曲線は、約30,000エピソード後に飽和し、最適な方策に収束していることが示された。
• シミュレーションの3つのタスクを通じて、ZMPは常にサポート多角形内に保たれ、複雑な操作における動的安定性が確認された。
• 関節を有する体幹により、体幹の湾曲や回転を可能にし、遠くの右または左後方へ到達する人間らしいポーズを実現できた。
• 特に膝の下を向いて到達する高リスクな構成においても、バランスを保ちながら自己衝突を回避するという、モデルの頑健性が示された。
• 特に高冗長性の状況において、従来の数値的手法よりも収束が速かった。