[論文レビュー] Slip Detection with Combined Tactile and Visual Information

Jianhua Li, Siyuan Dong+1 more|arXiv (Cornell University)|Feb 27, 2018

Robot Manipulation and Learning参考文献 11被引用数 14

ひとこと要約

本論文では、ロボットのグリップ安定性を向上させるために、タクトイル（GelSightセンサー）とビジョナル（外部カメラ）のデータを統合する深層学習ベースのスリップ検出手法を提案する。94種類の日常的物品を対象に1,102回のグリップで訓練されたモデルは、10種類の未知のテスト物体において88.03％の精度でスリップを検出できた。これは、マルチモーダル統合が単一センサー手法を上回ることを示しており、特に滑らかで滑りやすい物体では視覚による運動の手がかりがタクトイルセンシングを補完する点で顕著である。

ABSTRACT

Slip detection plays a vital role in robotic manipulation and it has long been a challenging problem in the robotic community. In this paper, we propose a new method based on deep neural network (DNN) to detect slip. The training data is acquired by a GelSight tactile sensor and a camera mounted on a gripper when we use a robot arm to grasp and lift 94 daily objects with different grasping forces and grasping positions. The DNN is trained to classify whether a slip occurred or not. To evaluate the performance of the DNN, we test 10 unseen objects in 152 grasps. A detection accuracy as high as 88.03% is achieved. It is anticipated that the accuracy can be further improved with a larger dataset. This method is beneficial for robots to make stable grasps, which can be widely applied to automatic force control, grasping strategy selection and fine manipulation.

研究の動機と目的

• 物体の操作中にスリップを検出することで、ロボットグリップの安定性を向上させること。
• 滑らかで低摩擦の物体に対して特に有効な単一センサー手法の限界を克服するため、タクトイルとビジョナルモダリティを統合すること。
• 物体の物理的パラメータに関する事前知識を必要としないデータ駆動型でエンドツーエンドのスリップ検出システムを構築すること。
• タクトイルとビジョナル情報が補完的であることを示すこと。視覚は、タクトイル信号が曖昧になる滑らかで特徴のない物体に対して、重要な手がかりを提供する。

提案手法

• 深層ニューラルネットワーク（DNN）を用いて、ロボットグリッパーに搭載されたGelSightタクトイルセンサーと外部カメラからの画像シーケンスを用いて、グリップの安定性を分類する。
• DNNは両センサーからの6フレームの入力シーケンスを処理し、初期の持ち上げ段階における時間的変化をモデル化可能である。
• GelSightセンサーからのタクトイルデータは、高分解能の表面変形とマーカーのずれを捉え、相対運動の推定に寄与する。
• 外部カメラからのビジョナルデータは、物体のグリッパーに対する相対運動を捉え、タクトイル信号が弱いか曖昧な場合の手がかりを提供する。
• モデルは、力の大きさやグリッピング位置を変化させた94種類の多様な日常的物品を対象に1,102回のグリップで訓練された。
• アブレーションスタディでは、マルチモーダルモデルと単一センサーのベースライン（GelSightオンリーおよびカメラオンリー）の性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、タクトイルとビジョナル情報を効果的に統合し、単一センサー手法よりも正確にスリップを検出できるか？
• RQ2 滑らかで滑りやすい物体に対して、マルチモーダルモデルの性能はタクトイルオンリーまたはビジョナルオンリーのモデルと比べてどのように異なるか？
• RQ3 物体の物理的特性に関する事前知識がなくても、モデルは未知の物体に一般化できるか？
• RQ4 タクトイルとビジョナルデータの統合により、従来のしきい値ベースの手法よりも早期にスリップの兆候を検出できるか？

主な発見

• マルチモーダルDNNは、10種類の未知のテスト物体において88.03％のスリップ検出精度を達成し、単一センサーのベースラインを顕著に上回った。
• 本研究の先行研究で開発された従来のしきい値ベース手法（71％の精度）よりも、スリップを早期に検出できた。
• 滑らかで特徴のない物体（例：リオスタット）では、GelSightセンサー単体ではマーカーのずれがほとんどなかったためスリップを検出できなかったが、外部カメラが物体の運動を捉え、正しく分類できた。
• モデルは、ゲル表面の伸びによる「見かけの運動」と、実際のスリップ（物体とセンサー表面間の相対運動）を明確に区別でき、センサーのアーチファクトに対して頑健であることを示した。
• タクトイルとビジョナルデータの統合は相乗効果を示した。視覚は、タクトイル信号が弱い滑らかで滑りやすい物体に対して、重要な手がかりを提供した。一方、タクトイルデータは、ビジョナルの運動に曖昧さがある場合に役立った。
• 結果から、DNNは空間的・時間的パターンを複数モダリティにまたがって統合し、困難な条件下でもグリップの安定性を推定する能力を学習していると示唆された。