[論文レビュー] Deep Dynamics Models for Learning Dexterous Manipulation

Anusha Nagabandi, Kurt Konoglie+2 more|arXiv (Cornell University)|Sep 25, 2019

Robot Manipulation and Learning参考文献 38被引用数 67

ひとこと要約

本論文は PDDM を提案する。学習済みダイナミクスのアンサンブルを用いたオンライン計画を伴う深層モデルベースの RL 手法で、サンプル効率の高い、高自由度ハンドでの器用な操作を実現し、実机の 24-DoF を含む高自由度ハンドで約4時間分のデータで達成する。

ABSTRACT

Dexterous multi-fingered hands can provide robots with the ability to flexibly perform a wide range of manipulation skills. However, many of the more complex behaviors are also notoriously difficult to control: Performing in-hand object manipulation, executing finger gaits to move objects, and exhibiting precise fine motor skills such as writing, all require finely balancing contact forces, breaking and reestablishing contacts repeatedly, and maintaining control of unactuated objects. Learning-based techniques provide the appealing possibility of acquiring these skills directly from data, but current learning approaches either require large amounts of data and produce task-specific policies, or they have not yet been shown to scale up to more complex and realistic tasks requiring fine motor skills. In this work, we demonstrate that our method of online planning with deep dynamics models (PDDM) addresses both of these limitations; we show that improvements in learned dynamics models, together with improvements in online model-predictive control, can indeed enable efficient and effective learning of flexible contact-rich dexterous manipulation skills -- and that too, on a 24-DoF anthropomorphic hand in the real world, using just 4 hours of purely real-world data to learn to simultaneously coordinate multiple free-floating objects. Videos can be found at https://sites.google.com/view/pddm/

研究の動機と目的

• 複雑な接触ダイナミクスを前提とした多指の手による手指内の器用な操作の学習動機づけ。
• 高次元のマニピュレータにスケールするサンプル効率の高いモデルベース RL フレームワークの開発。
• 不確実性を考慮したニューラルダイナミクスとオンライン計画を活用して、頑健なリアルタイム制御を実現。
• 限られたデータで 24-DoF 人形型手を用いて複雑なタスクを学習し、実世界適用性を示す。

提案手法

• s′|s,a を平均 fθ(s,a) と学習済みまたは固定共分散を持つガウス分布としてモデル化する深層ニューラルネットワークを用い、複雑な手-物体相互作用を捉える。
• ダイナミクスに対するエピステミック不確実性を推定するためにブートストラップアンサンブルを用い、計画時の堅牢性を向上させる。
• 学習したダイナミクスを用いて結果を予測し、短期的なアクション列を選択するためにモデル予測制御(MPC)を使ったオンライン計画を適用。
• 勾配なしの軌道最適化を探索し、Random Shooting から Reward-Weighted Refinement を用いた Iterative Random-Shooting へ改善し（PDDM）、ソフトな報酬重み付きパス積分型の方程式に基づく計画更新規則を含む。
• 平均軌道とフィルタリングされたノイズをサンプリングしてアクション列の平滑化と時間相関探索を組み込み、探索次元を削減し計画の安定性を向上させる。
• 各ステップでアンサンブル予測報酬を用いて H ステップ列を最適化し、最初の行動を実行、状態情報を更新して再計画を行いループを閉じる。

実験結果

リサーチクエスチョン

• RQ1 オンライン計画を備えた深層モデルベース RL アプローチは、シミュレーションと現実世界の両方で多様な器用な操作スキルを学習できるか？
• RQ2 設計上の選択肢（モデル容量、アンサンブル、計画ホライズン、計画アルゴリズム、報酬重み付け）は、性能とデータ効率にどのように影響するか？
• RQ3 PDDM は高次元の器用なタスクにおいて、最先端のモデルベースおよびモデルフリー RL 手法とどのように比較されるか？
• RQ4 学習したダイナミクスモデルはタスク間で一般化し、関連した操作課題に再利用できるか？
• RQ5 限られたデータで自由浮遊物体を操作する完全な実世界の 24-DoF 手へこのアプローチを移行することは現実的か？

主な発見

• PDDM は、従来手法よりも圧倒的に少ないデータで複雑な器用な操作タスクを学習する。
• アンサンブルは、モデルの不確実性を捉えることにより、特に訓練の初期段階で安定性と性能を改善する。
• 計画ホライズンはバランスが必要で、短すぎると貪欲になり、長すぎるとモデル誤差が悪影響を及ぼす。
• 報酬重み付きパス積分計画とアクション平滑化を備えた PDDM は、Random Shooting および CEM ベースのプランナーより優れている。
• 24-DoF Shadow Hand で、90°の Baoding ball 回転でほぼ100%の成功、180°回転で約54%の成功を、約2時間の実世界データ（Baoding タスク）を用いて達成。
• 実世界の Baoding ボール実験は、10 Hz のプランナーと 1 kHz の低レベルコントローラを用いた現地トレーニング可能性を示し、2時間の訓練効率と関連タスクへの移行性を達成。