[論文レビュー] Optical Tactile Sim-to-Real Policy Transfer via Real-to-Sim Tactile Image Translation.

Alex Church, John W. Lloyd+2 more|arXiv (Cornell University)|Jun 16, 2021

Robot Manipulation and Learning参考文献 33被引用数 4

ひとこと要約

本論文は、実世界からシミュレーションへのタクトイル画像変換を用いた、タクトイルロボティクスのシミュレーションから実世界へのポリシー移行フレームワークを提案している。実世界のロボットにシミュレーションで訓練されたポリシーをゼロショットで展開可能にし、接触形状の高分解能深度画像として高分解能光タクトイルセンサーをシミュレートし、データ駆動型手法により実世界のタクトイルセンサーのデータをシミュレートされた対応物に変換することで、PPOで訓練されたポリシーを用いて物理的マニピュレーションタスクで成功したタスク実行を実現した。

ABSTRACT

Simulation has recently become key for deep reinforcement learning to safely and efficiently acquire general and complex control policies from visual and proprioceptive inputs. Tactile information is not usually considered despite its direct relation to environment interaction. In this work, we present a suite of simulated environments tailored towards tactile robotics and reinforcement learning. A simple and fast method of simulating optical tactile sensors is provided, where high-resolution contact geometry is represented as depth images. Proximal Policy Optimisation (PPO) is used to learn successful policies across all considered tasks. A data-driven approach enables translation of the current state of a real tactile sensor to corresponding simulated depth images. This policy is implemented within a real-time control loop on a physical robot to demonstrate zero-shot sim-to-real policy transfer on several physically-interactive tasks requiring a sense of touch.

研究の動機と目的

• シミュレーションから実世界へのロボット制御へのポリシー移行を可能にすることで、タクトイル強化学習におけるシミュレーションと実世界のギャップを埋めること。
• 接触形状の詳細な幾何構造から高分解能深度画像をレンダリングすることで、光学的タクトイルセンサーを高速かつ高精度にシミュレートする手法を開発すること。
• 実世界のロボットにリアルタイムでポリシーを展開可能にするために、実世界のタクトイルセンサー観測値を対応するシミュレートされたセンサー入力に変換すること。
• タクトイルセンシングを要する物理的相互作用タスクにおいて、本手法の有効性を実証すること。

提案手法

• シミュレーション内での詳細な接触幾何構造から高分解能深度画像をレンダリングすることで、光学的タクトイルセンサーをシミュレートする。
• 実世界のタクトイルセンサー画像を対応するシミュレートされた深度画像に変換するためのデータ駆動型変換モデルを訓練する。
• 視覚的およびプロ prioceptive 観測値を用いて、Proximal Policy Optimization (PPO) を用いてシミュレーション内で制御ポリシーを訓練する。
• タクトイル変換モデルをリアルタイム制御ループに統合し、実世界のロボットへのゼロショットポリシー移行を可能にする。
• タクトイルロボティクスおよび複雑なマニピュレーションタスクに特化したシミュレーション環境のセットを設計する。
• 画像変換による実センサー観測値とシミュレートされた観測値の整合性を保つことで、エンドツーエンドのポリシー展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 実世界からシミュレーションへのタクトイル画像変換は、タクトイルロボティクスにおけるゼロショットのシミュレーションから実世界へのポリシー移行を可能にするか？
• RQ2 提案された光学的タクトイルセンサーのシミュレーション手法は、高精細な接触幾何構造をどれほど正確に捉えられるか？
• RQ3 翻訳されたタクトイル観測値を用いて、実世界のロボットにPPOで訓練されたポリシーを展開した際の性能はいかほどか？
• RQ4 タクトイルセンシングを要する多様な物理的相互作用タスクにおいて、ポリシー移行はどの程度頑健か？

主な発見

• 提案手法により、タクトイルフィードバックを要する複数の物理的相互作用タスクにおいて、成功したゼロショットのシミュレーションから実世界へのポリシー移行が実現された。
• データ駆動型のタクトイル画像変換モデルは、実世界のタクトイルセンサーのデータとシミュレートされた深度画像を効果的に一致させ、正確なポリシー展開を可能にした。
• 翻訳されたタクトイル観測値を用いることで、PPOで訓練されたポリシーはシミュレーションから実世界へ良好に一般化した。
• シミュレーションフレームワークは、接触幾何構造の深度画像表現により、高精細な光学的タクトイルセンシングをサポートした。
• リアルタイム制御ループへの統合により、微調整なしに学習済みポリシーを物理的ロボットに展開可能であることが実証された。
• 本手法は、シミュレーションから実世界へのドメインランダマイゼーションや追加の適応なしに、複数のタクトイルマニピュレーションタスクで信頼性の高いタスク実行を達成した。