[論文レビュー] Learning the Dynamics of Compliant Tool-Environment Interaction for Visuo-Tactile Contact Servoing

Mark Van der Merwe, Dmitry Berenson+1 more|arXiv (Cornell University)|Oct 7, 2022

Tactile and Sensory Interactions被引用数 5

ひとこと要約

本稿では、完全な幾何的・物理的モデル化を必要とせずに、柔軟なツールと環境の相互作用の動的特性を学習するモデルベースのフレームワークを提案する。新規の接触特徴表現（バイナリ接触状態、接触線、エンドエフェクターワンス）を用いることで、潜在的動的モデルとアクションオフセット補正を介して正確な外部接触制御を実現し、視認性の欠如や接触力の変動に対しても、実世界のスクラッチタスクで95%を超える質量除去率と40–60%のフットプリント除去率を達成した。

ABSTRACT

Many manipulation tasks require the robot to control the contact between a grasped compliant tool and the environment, e.g. scraping a frying pan with a spatula. However, modeling tool-environment interaction is difficult, especially when the tool is compliant, and the robot cannot be expected to have the full geometry and physical properties (e.g., mass, stiffness, and friction) of all the tools it must use. We propose a framework that learns to predict the effects of a robot's actions on the contact between the tool and the environment given visuo-tactile perception. Key to our framework is a novel contact feature representation that consists of a binary contact value, the line of contact, and an end-effector wrench. We propose a method to learn the dynamics of these contact features from real world data that does not require predicting the geometry of the compliant tool. We then propose a controller that uses this dynamics model for visuo-tactile contact servoing and show that it is effective at performing scraping tasks with a spatula, even in scenarios where precise contact needs to be made to avoid obstacles.

研究の動機と目的

• 実世界の操作タスクにおいて、スパチュラのような柔軟なツールの頑健な外部接触サーボ制御を可能にすること。
• ツールや環境の幾何的・物理的特性に関する事前知識が欠如している状況での接触制御の課題に対処すること。
• 完全なシステム同定を回避しつつも、本質的な動的特性を捉えることができる接触特徴表現の開発。
• 明示的な3D再構成を伴わずに、マルチモーダルセンサ入力（点群、触覚フィードバック）から実世界のデータを用いて動的特性を学習すること。
• 接触が豊富な環境において、障害物を避ける高精度な接触軌道の生成。

提案手法

• 本手法は、バイナリ接触状態、3次元接触線、エンドエフェクターワンスベクトルからなる新規な接触特徴表現を採用する。
• 自己教師付き接触ラベル付けを用いて、7自由度Franka Pandaロボットの実世界軌道から学習された潜在空間動的モデルを採用する。
• ロボットのインピーダンスやコントローラ誤差を補正するため、ワンス予測誤差から導出されるアクションオフセット項をモデルに組み込む。
• 推論時の部分的観測に耐性を付けるために、視覚的遮蔽を用いたデータ拡張を実施する。
• 学習済み動的特性に基づいて制御入力を生成するため、MPPIサンプリングを用いたモデル予測制御（MPC）フレームワークを採用する。
• マルチモーダルセンシング（RGB-D点群と触覚フィードバック）を活用し、接触状態と動的特性を推定する。

実験結果

リサーチクエスチョン

• RQ1 ツールや環境の完全な幾何的・物理的モデル化を伴わずに、学習された動的モデルが外部接触の進化を効果的に予測できるか？
• RQ2 視覚的遮蔽に強く、解釈可能であると同時に本質的な動的特性を捉えることができる接触特徴表現は、どのように設計できるか？
• RQ3 ワンス予測誤差に基づくアクションオフセット補正は、ロボットコントローラ誤差が存在する状況で制御精度を向上させられるか？
• RQ4 本手法は、障害物や部分的観測といった実世界の制約下でも、接触が豊富なタスク（例：スクラッチ）にどれほど一般化できるか？
• RQ5 データ拡張（例：遮蔽）およびワンスに基づくアクション補正が、実世界の接触サーボ制御性能に与える影響は何か？

主な発見

• 提案手法は、5回の試行にわたる実世界のスクラッチタスクにおいて、平均95%を超える質量除去率と40–60%のフットプリント除去率を達成した。
• データ拡張を施したフルモデルは、接触領域の一部が遮蔽されても高い性能を維持するという、視覚的遮蔽に強い耐性を示した。
• ワンスに基づくアクションオフセットの追加は一貫した性能向上をもたらさなかったが、これはMPPIを各ステップで再計画することで十分な性能が得られていたためと考えられる。
• 本手法は、スパチュラのコーナーしか接触していない状況でも、障害物を避ける複雑な接触軌道を正常に実行できた。
• 接触特徴表現により、柔軟なツールの明示的3D再構成を伴わず、接触状態の追跡と動的特性の予測が正確に実現された。
• 本手法は多様な接触幾何形状や動的擾乱に対しても一般化できることを示し、より広範な接触豊富な操作タスクへの応用可能性を示した。