[論文レビュー] Manipulation by Feel: Touch-Based Control with Deep Predictive Models

Stephen Tian, Frederik Ebert+5 more|arXiv (Cornell University)|Mar 11, 2019

Advanced Sensor and Energy Harvesting Materials参考文献 23被引用数 26

ひとこと要約

本論文では、GelSightセンサから得られる高解像度の生のタクトイル画像を用いて、手動による教師なしで接触が豊富なロボット操作を可能にする学習ベースの制御フレームワーク、デュアルタクトイルMPCを提案する。非教師付き探索データ上で訓練された深層予測モデルを用いることで、ユーザーが指定するタクトイルゴールパターンを達成するための行動計画が可能となり、ボールの転がし、スティックの再配置、ダイスの転がしといったタスクにおいて、精度と成功確率の面で、手作業で設計されたベースラインを顕著に上回る結果を得た。

ABSTRACT

Touch sensing is widely acknowledged to be important for dexterous robotic manipulation, but exploiting tactile sensing for continuous, non-prehensile manipulation is challenging. General purpose control techniques that are able to effectively leverage tactile sensing as well as accurate physics models of contacts and forces remain largely elusive, and it is unclear how to even specify a desired behavior in terms of tactile percepts. In this paper, we take a step towards addressing these issues by combining high-resolution tactile sensing with data-driven modeling using deep neural network dynamics models. We propose deep tactile MPC, a framework for learning to perform tactile servoing from raw tactile sensor inputs, without manual supervision. We show that this method enables a robot equipped with a GelSight-style tactile sensor to manipulate a ball, analog stick, and 20-sided die, learning from unsupervised autonomous interaction and then using the learned tactile predictive model to reposition each object to user-specified configurations, indicated by a goal tactile reading. Videos, visualizations and the code are available here: https://sites.google.com/view/deeptactilempc

研究の動機と目的

• 高解像度のタクトイルフィードバックを用いた器用なロボット操作を可能にすること、特に視覚が遮蔽された状況での応用を目的とする。
• 力や姿勢の空間ではなく、タクトイル観測空間に直接的に操作のゴールを定義する課題に対処すること。
• 報酬形状や人間によるアノテーション付きデモンストレーションの必要性を排除し、非教師付き相互作用から効果的な制御ポリシーを学習すること。
• 深層ダイナミクスモデルとモデル予測制御を組み合わせたデータ駆動型の制御フレームワークを構築すること。

提案手法

• 本手法は、生の64×48タクトイル画像を用いて、ロボットの行動に基づき将来のタクトイル状態を予測する深層動的予測モデルを採用する。
• モデル予測制御（MPC）フレームワークは、行動シーケンスをサンプリングし、予測されたタクトイルパターンとゴールパターンとの差を最小化する行動を選択する。
• ダイナミクスモデルは、物体との多様な非教師付き相互作用データ上で、自己教師付きコントラスト学習を用いてエンドツーエンドで訓練される。
• システムは、3軸ロボットアームに取り付けられた独自開発のGelSight型タクトイルセンサを用いて、高帯域幅のタクトイルフィードバックを取得する。
• ゴールの定義はタクトイル観測空間に直接行い、目標圧力重心または画像パターンを望ましい結果として用いる。
• 本手法はクローズドループで動作し、リアルタイムのタクトイル観測を用いて各時刻で再計画を行う。

実験結果

リサーチクエスチョン

• RQ1 生のタクトイルデータ上で訓練された深層予測モデルは、人間による報酬やデモンストレーションなしに、正確なタクトイルサーボイングを可能にするか？
• RQ2 視覚フィードバックが遮蔽された状況下でも、タクトイルMPCは正確な物体再配置にどの程度効果的か？
• RQ3 生のタクトイル空間におけるゴール定義は、従来の力や姿勢に基づく定義に比べ、より自然で頑健な制御を可能にするか？
• RQ4 複雑な接触が豊富なタスクにおいて、学習ベースのタクトイルMPCポリシーは手作業で設計された制御ベースラインと比べてどの程度優れているか？
• RQ5 非教師付き探索データは、一般化可能なタクトイル制御ポリシーを学習するために十分なデータを提供できるか？

主な発見

• ボール転がしタスクでは、デュアルタクトイルMPCが最終的な圧力重心とゴールとの間で中央値L2距離1.86を達成し、ベースライン（2.97）を顕著に上回った。
• アナログスティックタスクでは、L2距離で測定したゴール位置到達成功率が93.3％に達した（ベースラインは46.6％）。
• ダイス転がしタスクでは、望ましい面を88.9％の確率（30試行中26回）で達成した（ベースラインは13.3％）。
• すべてのタスクにおいてL2距離と平均二乗誤差（MSE）の指標で優れた性能を示し、定量的評価でも一貫してベースラインを上回った。
• 定性的な結果から、学習済みダイナミクスを用いたモデル予測計画が、ダイス転がしのような複雑で多段階の接触ダイナミクスに対しても安定的かつ正確な再配置を可能にすることが示された。
• 結果から、複雑な接触力学を伴うタスクでは、学習ベースのタクトイル制御が視覚フィードバックが利用できない状況でも、手作業で設計された制御器を凌駕できる可能性があることが示唆された。