[論文レビュー] Shaping in Practice: Training Wheels to Learn Fast Hopping Directly in Hardware

Steve Heim, Felix Ruppert+2 more|arXiv (Cornell University)|Sep 29, 2017

Robotic Locomotion and Control参考文献 19被引用数 8

ひとこと要約

本論文では、ハードウェアベースの単脚ロボットにおける高速ホッピングの直接強化学習を可能にするために、報酬の勾配構造を形作る一時的な機械的改造「トレーニングホイル」を提案する。ロボットの有効重力を負荷の軽減によって低下させることで、顕著な勾配集合からのサンプリング確率を向上させ、不安定でアンダーアクチュエーテッドなシステムにおける衝撃を伴う学習を安定的かつ効率的に行う。1回の試行あたり10分未塔で成功したホッピングを達成した。

ABSTRACT

Learning instead of designing robot controllers can greatly reduce engineering effort required, while also emphasizing robustness. Despite considerable progress in simulation, applying learning directly in hardware is still challenging, in part due to the necessity to explore potentially unstable parameters. We explore the concept of shaping the reward landscape with training wheels: temporary modifications of the physical hardware that facilitate learning. We demonstrate the concept with a robot leg mounted on a boom learning to hop fast. This proof of concept embodies typical challenges such as instability and contact, while being simple enough to empirically map out and visualize the reward landscape. Based on our results we propose three criteria for designing effective training wheels for learning in robotics. A video synopsis can be found at https://youtu.be/6iH5E3LrYh8.

研究の動機と目的

• ハードウェア上で直接強化学習を実行する課題に対処すること。不安定なダイナミクスと疎な報酬が学習を阻害する。
• 複雑なモデルベース設計や報酬形状の必要を回避することで、工学的作業を軽減すること。
• 一時的かつ可逆的なハードウェア変更を用いた、実用的で機械的な学習ランドスケープの形状化手法を検討すること。
• トレーニングホイルが、現実世界のロボット走破タスクにおけるサンプル効率と成功確率を顕著に向上させることを実証すること。
• 広範なロボットシステムに適用可能な有効なトレーニングホイルの設計基準を確立すること。

提案手法

• ロボットは、1つの駆動されるヒップと、被動的で柔軟性を持つアキレスを備えた2次元の単脚であり、運動を平面に制限するためにブームに取り付けられている。
• 学習タスクは高速ホッピングであり、速度に高い報酬が与えられ、損傷する着地（例：アキレスから着地）に対してペナルティが課される。
• トレーニングホイルは、負荷の軽減によってロボットの有効重力を一時的に低下させることで実装され、低重力環境を模倣する。
• 報酬関数に依存しない強化学習アルゴリズム（PPO）を用いて、関節位置指令のポリシーを最適化する。
• 訓練プロセスは段階的に行われる：まず有効重力が低い環境から始め、次に中間環境に移行し、最後に元の完全な重力環境に移行する。
• 環境間の移行はヒューリスティック的手法で行われ、勾配の連続性を保ち、再訓練を完全に避けることを目的としている。

実験結果

リサーチクエスチョン

• RQ1 トレーニングホイル—一時的な機械的改造—は、不安定でハードウェアベースのロボットシステムにおける強化学習のサンプル効率をどのように向上させるか？
• RQ2 実装が簡単で、学習ランドスケープを効果的に形状化できるトレーニングホイルの主な設計基準は何か？
• RQ3 有効重力を低下させることで、報酬ランドスケープにおける顕著な勾配集合からのサンプリング確率がどの程度向上するか？
• RQ4 簡略化された環境から元の環境への段階的移行は、深刻な忘却を伴わずに収束を早めることを可能にするか？
• RQ5 内発的動機づけや報酬形状化などの代替手法と比較して、トレーニングホイルは、頑健性と工学的作業量の観点でどの程度優れているか？

主な発見

• 有効重力を低下させるために負荷を軽減するというトレーニングホイルの使用により、ロボットは1回の訓練試行あたり10分未塔で高速ホッピングを学習できた。これは、極めて高いサンプル効率を示している。
• 低重力環境は、顕著な勾配集合からのサンプリング確率を顕著に向上させ、学習の安定性と信頼性を高めた。
• 報酬ランドスケープは経験的にマップされ、元の環境では顕著な勾配集合が小さく疎であるのに対し、トレーニングホイル環境でははるかにアクセスしやすくなっていた。
• トレーニングホイル環境から元の環境への移行は実現可能で効果的であり、完全な再訓練なしに成功したポリシーが段階間で転送された。
• 著者らは、有効なトレーニングホイルに必要な3つの主要基準を同定した：適用の容易さ、顕著な勾配集合からのサンプリング確率の向上、環境間の滑らかな段階的移行。
• 結果から、特に不安定でアンダーアクチュエーテッドなシステムにおいて、報酬形状化や複雑な機械的再設計に代わる実用的で低コストの代替手段として、機械的形状化によるトレーニングホイルが有効であると考えられる。