[論文レビュー] Learning Generalizable Vision-Tactile Robotic Grasping Strategy for Deformable Objects via Transformer

Yunhai Han, Yu, Kelin+7 more|arXiv (Cornell University)|Dec 13, 2021

Robot Manipulation and Learning被引用数 9

ひとこと要約

本論文は、ピンチとスライドという探索的行動を用いてRGBおよびGelSightタクティルデータから時空間特徴を抽出することで、変形性のある物体に対する一般化可能なロボットグリップ戦略を学習する、ビジョン・タクティルTransformerベースのフレームワークを提案する。この手法は、バナナのような不規則な果物のオンライングリップで84％の成功率を達成し、CNN+LSTMベースラインを上回り、大規模な果物データセットを用いた事前学習により強力なゼロショット一般化を示している。

ABSTRACT

Reliable robotic grasping, especially with deformable objects such as fruits, remains a challenging task due to underactuated contact interactions with a gripper, unknown object dynamics and geometries. In this study, we propose a Transformer-based robotic grasping framework for rigid grippers that leverage tactile and visual information for safe object grasping. Specifically, the Transformer models learn physical feature embeddings with sensor feedback through performing two pre-defined explorative actions (pinching and sliding) and predict a grasping outcome through a multilayer perceptron (MLP) with a given grasping strength. Using these predictions, the gripper predicts a safe grasping strength via inference. Compared with convolutional recurrent networks, the Transformer models can capture the long-term dependencies across the image sequences and process spatial-temporal features simultaneously. We first benchmark the Transformer models on a public dataset for slip detection. Following that, we show that the Transformer models outperform a CNN+LSTM model in terms of grasping accuracy and computational efficiency. We also collect a new fruit grasping dataset and conduct online grasping experiments using the proposed framework for both seen and unseen fruits. {In addition, we extend our model to objects with different shapes and demonstrate the effectiveness of our pre-trained model trained on our large-scale fruit dataset. Our codes and dataset are public on GitHub.

研究の動機と目的

• 変形性があり、不規則な形状をした物体（例：果物）を安全かつ効果的にグリップする課題に取り組むこと。特に、滑りや損傷を防ぐために接触力の正確な制御が不可欠である。
• 視覚的およびタクティルセンシングモダリティを効果的に統合し、リアルタイムでのグリップ結果予測および力最適化を実現すること。
• 異なる果物種類、特に未観測の不規則な形状の物体に対しても適用可能な一般化可能なグリップポリシーを構築すること。
• Transformerにおける自己注意機構を活用し、画像系列における長距離依存関係をモデル化することで、再帰的または畳み込みモデルよりも高いロバスト性を実現すること。
• 新規の果物グリップデータセットを用いて、実ロボットハードウェア上でのオンライングリップ実験を通じて、フレームワークの有効性を検証すること。

提案手法

• フレームワークは、時間的・空間的特徴を抽出するために、TimeSformerとViViTという2つの最先端のTransformerアーキテクチャを用い、事前に定義された探索的行動（ピンチとスライド）中に収集された視覚（RGB）およびタクティル（GelSight）画像系列を統合的に符号化する。
• 両モダリティから抽出された時空間特徴が、学習可能な注意メカニズムを介して共有物理特徴埋め込みに統合される。
• 多層パーセプトロン（MLP）が、統合された埋め込みと所定のグリップ力しきい値に基づいて、グリップ結果（安全、滑りやすい、損傷を引き起こす）を予測する。
• 最適なグリップ力は、トレーニング済みの予測器を用いて、離散的な力しきい値（3–12）の範囲でオンライン推論により探索される。
• 分類用の別個のMLPヘッドが、自動化されたビン分けを可能にするために、掴んだ果物の種類を分類する。
• モデルは大規模な果物データセットで事前学習され、新しい果物種類の小さなデータセットで微調整されることで、ゼロショット一般化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ビジョン・タクティルTransformerフレームワークは、変形性のある物体の安全なグリップ力予測において、CNN+LSTMモデルを上回ることができるか？
• RQ2 事前学習されたTransformerモデルは、バナナのような未観測の不規則な形状の果物にどの程度一般化可能か？
• RQ3 時空間的注意メカニズムは、グリップ中の関連接触領域に的確に注目できるか？
• RQ4 多様な果物データセットでの事前学習は、小さな新しいデータセットでの微調整性能を向上させるか？
• RQ5 このフレームワークは、実ロボットハードウェアを用いた実世界のオンライングリップ実験で高い成功率を達成できるか？

主な発見

• 提案されたフレームワークは、バナナのオンライングリップで84％の成功率を達成し、ベースラインモデル（52％）および事前学習なしの微調整モデル（76％）を顕著に上回った。
• TimeSformerとViViTは、公的データセットにおけるスリップ検出で、それぞれCNN+LSTMベースラインを3.1％および2.0％上回り、優れた精度と計算効率を示した。
• 事前学習モデルは、小さなバナナデータセットでの微調整精度を10％向上させ、トレーニングの振動を低減し、収束安定性を向上させた。
• 注意可視化の結果、バナナのような極めて不規則な形状の果物に対しても、視覚的およびタクティルモダリティの両方で、モデルが一貫して局所的接触領域に注目していることが示された。
• フレームワークは強力なゼロショット一般化を示した：新しい果物種類で微調整した場合、事前学習モデルを用いることで75％の訓練精度を達成したのに対し、事前学習なしでは10％の低下が生じた。
• モデルは視覚画像の品質に対してはよりロバストであったが、タクティル画像の品質に対してはやや脆弱であった。これは、タクティルデータの拡張技術やノイズ耐性の向上の必要性を示唆している。