[論文レビュー] Learning Gentle Object Manipulation with Curiosity-Driven Deep Reinforcement Learning

Sandy H. Huang, Martina Zambelli+5 more|arXiv (Cornell University)|Mar 20, 2019

Reinforcement Learning in Robotics参考文献 36被引用数 45

ひとこと要約

この論文は、影響ペナルティをペナルティベースの内発的好奇心報酬と組み合わせて、深層強化学習ポリシーが物体を優しく操作するよう訓練する手法を提案し、シミュレーションと実機の tendon-powered Shadow Hand で実証した。

ABSTRACT

Robots must know how to be gentle when they need to interact with fragile objects, or when the robot itself is prone to wear and tear. We propose an approach that enables deep reinforcement learning to train policies that are gentle, both during exploration and task execution. In a reward-based learning environment, a natural approach involves augmenting the (task) reward with a penalty for non-gentleness, which can be defined as excessive impact force. However, augmenting with only this penalty impairs learning: policies get stuck in a local optimum which avoids all contact with the environment. Prior research has shown that combining auxiliary tasks or intrinsic rewards can be beneficial for stabilizing and accelerating learning in sparse-reward domains, and indeed we find that introducing a surprise-based intrinsic reward does avoid the no-contact failure case. However, we show that a simple dynamics-based surprise is not as effective as penalty-based surprise. Penalty-based surprise, based on predicting forceful contacts, has a further benefit: it encourages exploration which is contact-rich yet gentle. We demonstrate the effectiveness of the approach using a complex, tendon-powered robot hand with tactile sensors. Videos are available at http://sites.google.com/view/gentlemanipulation.

研究の動機と目的

• 安全で低衝撃の操作を実現し、実世界ロボットの摩耗や損傷を減らすことを動機づける。
• 探索と学習を過度な接触や力なしに操作タスクで可能にする。
• 探索と実行の両方でタスク性能と優しさのバランスをとる訓練フレームワークを開発する。
• 直感的 rewards の効果を異なる intrinsic rewards ( dynamics-based vs penalty-based ) のガイドとして探索する。

提案手法

• 相互作用の影響を測定された力の増分 m_t を用いて最小化することで優しさを定義する。
• 高い影響を抑止するため、許容度関数 a_λ(m) によって計算される影響ペナルティ r_t^f をタスク報酬に付加する。
• 低ペナルティの影響に対する好奇心を促すペナルティベースの内発的報酬 r_t^{s_p} を導入し、予測モデルとペナルティとの凸結合で表現する。
• ダイナミクスベースのサプライズ r_t^s とペナルティベースのサプライズ r_t^{s_p} を比較し、タスク報酬、ダイナミクスサプライズ、ペナルティサプライズ、インパクトペナルティそれぞれに別個のクリティックを用いる。
• D4PG（Distributed Distributional Deterministic Policy Gradients）を用い、アクターと複数のクリティックを持つ。ダイナミクスモデルとペナルティ予測器をアンサンブルとして訓練し、MuJoCo シミュレーションと触覚センサを備えた Shadow Hand へ適用する。
• 訓練スケジュールの詳細を提供し、ターゲットダイナミクスモデルの更新時期と内発報酬の活性化時期（シミュレーションで 20k ステップ、実機で 8k）を含む。

実験結果

リサーチクエスチョン

• RQ1 影響ペナルティとペナルティベースの内発的報酬を組み合わせることで優しい操作ポリシーを学習できるか。
• RQ2 ペナルティベースのサプライズは、優しく接触を要する探索を促進する上でダイナミクスベースのサプライズより効果的か。
• RQ3 これらの手法はリアルロボットの触覚センサを用いた操作へ転移し、実機で性能を発揮するか。
• RQ4 異なる報酬の拡張が、単純なタスクと壊れやすい物体のタスクの学習速度と最終的な優しさポリシーにどのように影響するか。

主な発見

• タスク報酬と影響ペナルティおよびペナルティベースのサプライズを組み合わせた学習ポリシーは、シミュレーションと実機の両方で低衝撃かつ穏やかな操作を完遂できる。
• ダイナミクスベースのサプライズだけで影響ペナルティを組み込むと、タスク相互作用の学習が困難になるか、探索の分散が大きくなる。
• ペナルティベースのサプライズは、特に壊れやすい物体タスクにおいて穏やかな接触戦略をより効果的に生み出す。
• このアプローチは壊れやすいブロックの操作（低〜中程度の衝撃）を可能にし、非穏健なベースラインと同等の速度でタスクを完遂する。
• 実機実験では、Shadow Hand におけるペナルティベースのサプライズが学習速度と穏やかさで ICM およびダイナミクスベースのサプライズを上回る。