[論文レビュー] Learning to Play Table Tennis From Scratch using Muscular Robots

Dieter Büchler, Simon Guist+4 more|arXiv (Cornell University)|Jun 10, 2020

Muscle activation and electromyography studies被引用数 11

ひとこと要約

この論文は、空気圧人工筋（PAMs）で駆動される人間型のロボットアームにおいて、安全でエンドツーエンドの強化学習（RL）を実現し、安全制約や事前デモなしで最大12 m/sの高速リターンを達成した。PAMsの柔ららかくバックドライブ可能な性質により、探索中に損傷を防げるため、モデルフリーRLが速度と正確性のための報酬関数のみを用いて、初期状態から学習可能である。

ABSTRACT

Dynamic tasks like table tennis are relatively easy to learn for humans but pose significant challenges to robots. Such tasks require accurate control of fast movements and precise timing in the presence of imprecise state estimation of the flying ball and the robot. Reinforcement Learning (RL) has shown promise in learning of complex control tasks from data. However, applying step-based RL to dynamic tasks on real systems is safety-critical as RL requires exploring and failing safely for millions of time steps in high-speed regimes. In this paper, we demonstrate that safe learning of table tennis using model-free Reinforcement Learning can be achieved by using robot arms driven by pneumatic artificial muscles (PAMs). Softness and back-drivability properties of PAMs prevent the system from leaving the safe region of its state space. In this manner, RL empowers the robot to return and smash real balls with 5 m\s and 12m\s on average to a desired landing point. Our setup allows the agent to learn this safety-critical task (i) without safety constraints in the algorithm, (ii) while maximizing the speed of returned balls directly in the reward function (iii) using a stochastic policy that acts directly on the low-level controls of the real system and (iv) trains for thousands of trials (v) from scratch without any prior knowledge. Additionally, we present HYSR, a practical hybrid sim and real training that avoids playing real balls during training by randomly replaying recorded ball trajectories in simulation and applying actions to the real robot. This work is the first to (a) fail-safe learn of a safety-critical dynamic task using anthropomorphic robot arms, (b) learn a precision-demanding problem with a PAM-driven system despite the control challenges and (c) train robots to play table tennis without real balls. Videos and datasets are available at muscularTT.embodied.ml.

研究の動機と目的

• 実ハードウェア上でテーブルティーティングのような動的ロボットタスクにおける安全で高速な探索を可能にすること。
• 高速運動において性能を制限する従来の安全メカニズムの限界を乗り越えること。
• PAM駆動のソフトロボットがモデルフリーRLを精度の高いタスクに安全に可能にできることを示すこと。
• 実ボールの使用を避けるために開発されたハイブリッドシミュレーションから実世界へのトレーニング手法（HYSR）の開発。
• デモや安全制約なしに高精度・高速度のテーブルティーティングリターンを達成すること。

提案手法

• リアルタイム圧力制御による筋肉駆動を備えた4自由度のPAM駆動ロボットアームの使用。
• 確率的方策を介して低レベルの筋肉圧力コマンドに直接モデルフリー深層強化学習を適用。
• ターゲット着地地点へのリターン速度と正確性を最大化する報酬関数の設計。
• HYSRの導入：記録されたボール軌道をシミュレーションで再現しながら、実ロボットにアクションを適用するハイブリッドトレーニング手順。
• 状態観測のためのカラーベースのカメラシステムを用いて、ボール位置をリアルタイムで推定。
• 各対照的ペア内の1つの筋肉が関節制限に達するように圧力制限を設定し、探索中の物理的セーフティを確保。

実験結果

リサーチクエスチョン

• RQ1 安全制約を明示的に設けずに、実ロボットハードウェア上でモデルフリー強化学習を高速で動的タスク（例：テーブルティーティング）に安全に適用できるか？
• RQ2 PAM駆動のソフトロボットは、従来のモータードライブシステムが損傷を受ける可能性のある爆発的運動の安全な探索と学習を可能にするか？
• RQ3 ハイブリッドシミュレーションから実世界へのトレーニング手順（HYSR）が、ポリシー性能を維持したまま、実ボールの相互作用をどの程度代替できるか？
• RQ4 デモや事前知識なしに、エンドツーエンドのRLが高精度・高速度のテーブルティーティングを初期状態から学習するのにどの程度効果的か？
• RQ5 PAMsの内在的なバックドライブ性とコンプライアンスは、動的タスクにおいてアクションフィルタリングや慎重な制御ヒューリスティクスの必要性を置き換えることができるか？

主な発見

• PAM駆動ロボットは、関節制限を超えないように、それぞれ平均5 m/sおよび12 m/sの速度でボールを所定の着地地点にリターンすることに成功した。
• 安全制約やデモなしに、速度と正確性のための報酬関数のみを用いて、初期状態から正確なテーブルティーティングプレーを達成した。
• システムは、衝突の約0.6秒前に筋肉圧力を最小から最大に切り替えることで、爆発的加速を可能にした。
• HYSRにより、実ボールを一切使用せずに数千回のトレーニング試行が可能となり、トレーニングの実用性が著しく向上した。
• PAMsの柔軟なアクチュエータ特性により、探索中に損傷が生じにくく、アクションフィルタリングや慎重な安全ヒューリスティクスの必要性が不要となった。
• 本手法により、実ハードウェア上で失敗に強い学習が達成され、本質的に危険な動的タスク（例：実ボールのスマッシュ）における世界初の実証となった。