[論文レビュー] High Acceleration Reinforcement Learning for Real-World Juggling with Binary Rewards

Kai Ploeger, Michael Lutter+1 more|arXiv (Cornell University)|Oct 26, 2020

Reinforcement Learning in Robotics被引用数 13

ひとこと要約

本論文では、二値報酬のみを用いて現実世界で高加速度の二ボールジャンプを学習可能な、サンプル効率的で安全を考慮した強化学習システムを提示する。タスク固有のポリシー初期化、工学的知見に基づくポリシー表現、およびKL制約付きポリシー最適化を統合することで、わずか56分の現実世界での経験後にもかかわらず、最大33分間（4,500回以上のキャッチ）の継続的なジャンプを達成し、手動チューニングされたポリシーを上回る性能を発揮した。

ABSTRACT

Robots that can learn in the physical world will be important to en-able robots to escape their stiff and pre-programmed movements. For dynamic high-acceleration tasks, such as juggling, learning in the real-world is particularly challenging as one must push the limits of the robot and its actuation without harming the system, amplifying the necessity of sample efficiency and safety for robot learning algorithms. In contrast to prior work which mainly focuses on the learning algorithm, we propose a learning system, that directly incorporates these requirements in the design of the policy representation, initialization, and optimization. We demonstrate that this system enables the high-speed Barrett WAM manipulator to learn juggling two balls from 56 minutes of experience with a binary reward signal. The final policy juggles continuously for up to 33 minutes or about 4500 repeated catches. The videos documenting the learning process and the evaluation can be found at https://sites.google.com/view/jugglingbot

研究の動機と目的

• 非線形ダイナミクスやアクチュエータ制限のため、シミュレーションが不十分である高加速度物理タスク（例：ジャンプ）に対して、安全でサンプル効率的な強化学習システムを開発すること。
• 失敗による損傷のリスクが高く、サンプル効率性が極めて重要な現実のロボットで、スパarsな二値報酬での学習に直面する課題に対処すること。
• ドメイン固有の知見をポリシー表現、初期化、最適化に統合することで、純粋な強化学習が失敗する状況でも、現実世界での学習に成功できることを示すこと。
• シミュレーションや密集報酬に依存せずに、物理的ロボット上で複雑な動的マニピュレーションタスク（二ボールジャンプ）を学習できることを検証すること。

提案手法

• 専門知識に基づくタスク固有の初期化を施したパラメータ化されたポリシーを用い、学習に必要な初期段階の粗いキャッチを実現する。
• 二値報酬信号を用いる——ジャンプが10秒以上継続すれば1、それ以外は0。報酬形状を詳細に与えるのではなく、成功／失敗に焦点を当てる。
• KL発散の制約を2に設定したeREPSを用いて安定したポリシー最適化を実現し、急激な更新による崩壊を防ぐ。
• 20エピソードにわたり訓練を実施し、各エピソードでは25個のランダムに抽出されたパラメータを用いる。環境要因による破損が生じた場合は、再試行を行う。
• エンドエフェクタの設計に被動的安定性を組み込み、微小な摂動からの回復を可能にし、実行中の耐障害性を向上させる。
• 最終的なポリシーは、再現性と性能を評価するための30回の決定的ロールアウトにより評価され、長時間のジャンプは最大33分間テストされた。

実験結果

リサーチクエスチョン

• RQ1 二値報酬のみを用いて、現実のロボット上で高加速度の動的マニピュレーションタスク（例：二ボールジャンプ）を強化学習で学習可能か？
• RQ2 工学的知見やタスク固有の知識をどのようにポリシー表現および最適化に統合することで、現実世界の強化学習におけるサンプル効率性と安全性を向上できるか？
• RQ3 高加速度と厳密な安全制約を伴う物理的システムに適用した場合、現在の深層強化学習アルゴリズムの限界は何か？
• RQ4 学習されたポリシーは、現実世界での実行において、一貫性とジャンプ持続時間の面で手動チューニングされたポリシーを上回ることができるか？

主な発見

• ロボットはわずか56分の現実世界での経験後、最大33分間（4,500回以上のキャッチ）の継続的ジャンプを達成し、極めて優れたサンプル効率性を示した。
• 最終的な学習済ポリシーは、30回の決定的ロールアウトにおいて平均106.82秒のジャンプ持続時間を達成し、手動チューニングされたポリシーの平均66.51秒を大きく上回った。
• エピソード10以降から一貫して10秒間のジャンプエピソードを達成し、エピソード20では25パラメータすべてで完全成功を達成した。
• エンドエフェクタの被動的安定性のおかげで、微小な環境変動に対しても回復可能であり、高い耐障害性を示した。
• 学習済ポリシーは手動チューニングされたポリシーに比べてより再現性が高く、データ駆動型最適化の利点を浮き彫りにした。
• 本研究では、未モデル化されたケーブルダイナミクスや高加速度における非線形アクチュエータ挙動のため、シミュレーションベースのアプローチがこのタスクでは失敗することが確認された。