[論文レビュー] Offline Learning of Counterfactual Perception as Prediction for Real-World Robotic Reinforcement Learning.

Jun Jin, Daniel Graves+3 more|arXiv (Cornell University)|Nov 11, 2020

Embodied and Extended Cognition参考文献 52被引用数 9

ひとこと要約

本稿では、『もし私がこの行動を続けたらどうなるか？』という問いに答える、反事後的視覚予測のオフライン学習を提案する。これにより、現実世界におけるロボット強化学習の効率を高められる。これらの予測をスパarsな終端報酬とオンラインのセンサフィードバックと組み合わせることで、手作業で設計された認識やキャリブレーションに依存せずに、高サンプル効率な操作が実現される。

ABSTRACT

We propose a method for offline learning of counterfactual predictions to address real world robotic reinforcement learning challenges. The proposed method encodes action-oriented visual observations as several what questions learned offline from prior experience using reinforcement learning methods. These what questions counterfactually predict how action-conditioned observation would evolve on multiple temporal scales if the agent were to stick to its current action. We show that combining these offline counterfactual predictions along with online in-situ observations (e.g. force feedback) allows efficient policy learning with only a sparse terminal (success/failure) reward. We argue that the learned predictions form an effective representation of the visual task, and guide the online exploration towards high-potential success interactions (e.g. contact-rich regions). Experiments were conducted in both simulation and real-world scenarios for evaluation. Our results demonstrate that it is practical to train a reinforcement learning agent to perform real-world fine manipulation in about half a day, without hand engineered perception systems or calibrated instrumentation. Recordings of the real robot training can be found via this https URL.

研究の動機と目的

• スパarsな終端報酬による現実世界のロボット強化学習におけるサンプル非効率性の課題に対処すること。
• キャリブレーション済みの装置や手作業で設計された認識システムに依存せずに、現実世界の設定で効率的なオンラインポリシー学習を可能にすること。
• オフライン経験からの反事後的推論を通じて、タスクダイナミクスの構造的視覚表現を学習すること。
• オフライン予測を用いて、接触が豊富な領域などの高ポテンシャルな相互作用へオンライン探索を誘導すること。

提案手法

• 複数の時間スケールにわたり、行動の継続を仮定した場合の将来の視覚的観測を予測することで、『もし私がこの行動を続けたらどうなるか？』という問いに答える視覚ベースのモデルを学習する。
• 過去の経験を用いてオフライン強化学習でモデルを事前学習し、行動に依存する観測から反事後的予測を生成する能力を学習する。
• エージェントの視覚的状態を、実行せずに行動軌跡をシミュレートする「何が起こるか？」という質問の集合として表現する。
• オンラインの現地観測（例：力フィードバック）をオフラインの反事後的予測と統合し、リアルタイムのポリシー更新をガイドする。
• 反事後的予測とスパarsな終端報酬を組み合わせることで、方策勾配を形状づけ、サンプル効率を向上させる。
• 予測された視覚的ダイナミクスを事前知識として用い、行動がタスク成功に繋がる可能性が高い領域に探索を集中させる。

実験結果

リサーチクエスチョン

• RQ1 オフライン反事後的視覚ダイナミクス予測は、現実世界のロボット強化学習におけるサンプル効率を向上させることができるか？
• RQ2 反事後的予測は、複雑な操作タスクにおいて、手作業で設計された認識システムをどれほど代替できるか？
• RQ3 オフライン予測とオンラインセンサフィードバックの組み合わせは、スパarsな終端報酬しかない状況で探索をどれほど効果的にガイドできるか？
• RQ4 本手法は、キャリブレーション済みのセンサーやタスク固有の特徴工学なしで、現実世界の操作タスクに一般化可能か？

主な発見

• 本手法により、スパarsな終端報酬のみを用いて、約半日間のトレーニングで現実世界のロボット操作が成功する。
• オフライン反事後的予測により、高ポテンシャルな相互作用へ向かう探索を誘導することで、サンプル効率が著しく向上する。
• 手作業で設計された認識システムやキャリブレーション済みの装置が不要な状況でも、効果的なポリシー学習が達成される。
• シミュレーションおよび現実世界の両方の実験により、接触が豊富な操作タスクにおいて、本手法の実用性と頑健性が確認された。