[論文レビュー] Learning Humanoid Robot Motions Through Deep Neural Networks

Luckeciano C. Melo, Marcos R. O. A. Máximo+1 more|arXiv (Cornell University)|Jan 2, 2019

Robotic Locomotion and Control参考文献 16被引用数 8

ひとこと要約

本論文では、歩行やキックなどのヒューマノイドロボットの運動を、運動構造に関する事前仮定を一切せずに、関節角度データから直接学習・再現するためのディーブニューラルネットワークフレームワークを提案する。本手法は、同じネットワークアーキテクチャとハイパーパrameterを用いて、他のチームのDRL最適化キックを含め、複雑な運動を高精度で模倣できることを示しており、シミュレーション内での汎用性と高精度再現性を実証した。

ABSTRACT

Controlling a high degrees of freedom humanoid robot is acknowledged as one of the hardest problems in Robotics. Due to the lack of mathematical models, an approach frequently employed is to rely on human intuition to design keyframe movements by hand, usually aided by graphical tools. In this paper, we propose a learning framework based on neural networks in order to mimic humanoid robot movements. The developed technique does not make any assumption about the underlying implementation of the movement, therefore both keyframe and model-based motions may be learned. The framework was applied in the RoboCup 3D Soccer Simulation domain and promising results were obtained using the same network architecture for several motions, even when copying motions from another teams.

研究の動機と目的

• 運動構造に関する前提を一切仮定しない、汎用的なヒューマノイドロボット運動の学習フレームワークの開発を目的とする。
• キーフレーム運動やモデルベース運動を含む多様な運動を、関節軌道データに基づく教師あり学習によって模倣可能にする。
• 他のチームの制御ポリシーを逆設計することなく、高パフォーマンスな運動をエージェントの行動ペトリオに統合できるようにする。
• 将来の強化学習ベースのポリシー最適化のための種となる可能性を秘めた、運動のニューラルネットワーク表現の確立を目的とする。
• 現実的で包括的なシミュレーション環境において、異なる運動タイプおよび外部の運動ソースからの一般化性能を検証する。

提案手法

• 既存のキーフレーム運動またはモーショングラップチャーのデータから、離散的な時間ステップにおける関節角度軌道を収集する。
• 収集した軌道データを教師あり学習の対象として、時間インスタンスから関節角度配置へのマッピングを実行するフィードフォワード深層ニューラルネットワークを訓練する。
• データ収集段階で、キーフレーム間の滑らかな関節軌道を生成するために3次スプライン補間を適用する。
• 複数の運動タイプ（例：歩行、キック）に対して、同一の固定ネットワークアーキテクチャとハイパーパrameterを適用し、一般化性能を評価する。
• 関節コントローラーがネットワークの予測関節位置を追従する形で、オープンループ形式で学習済み運動を実行する。
• 他のチームのエージェントからリアルタイムの関節値を抽出できるように改造したRoboCup 3Dシミュレーションサーバーを用いる。

実験結果

リサーチクエスチョン

• RQ1 同一の深層ニューラルネットワークアーキテクチャが、歩行やキックといった多様なヒューマノイドロボット運動に一般化可能か？
• RQ2 内部制御論理にアクセスできない状態でも、ニューラルネットワークが他のチームの複雑で高次元の運動をどれほど正確に模倣できるか？
• RQ3 オープンループで実行された場合、特に動的で非理想的な条件下でも、学習済み運動の性能はどの程度維持されるか？
• RQ4 学習済みニューラル運動は、エンドツーエンドの強化学習ポリシー最適化の初期化として有効に機能できるか？
• RQ5 高度な最適化や強化学習技術を用いたエージェントの運動を再現する際、模倣の正確性はどの程度か？

主な発見

• 同じネットワークアーキテクチャとハイパーパrameterを用いて、歩行やキックを含む複数の運動タイプを、アーキテクチャの変更なしに学習・再現できた。
• UT Austin VillaがDRL最適化したキックを高精度で模倣した。他のチームの制御論理を逆設計することなく、チーム間での転送性を実証した。
• オープンループ実行において、フォワードウォークテストで平均速度0.23 m/s、Y方向誤差平均0.96 mを達成し、機能的ではあるがバイアスが生じた性能を示した。
• オープンループ実行および関節ダイナミクスの減衰にもかかわらず、学習済み運動は非競争的状況において十分な安定性と性能を維持した。
• ニューラルネットワークによる運動表現により、キーフレーム運動を学習済み同等に置き換えることが可能となり、全テスト運動で性能が保持された。
• 結果から、学習済みニューラル運動は、将来的な強化学習ベースのポリシー最適化のための有効な初期化として機能可能であり、閉ループで自己補正可能な運動ポリシーの構築を可能にする可能性がある。