[論文レビュー] Towards Learning to Detect and Predict Contact Events on Vision-based Tactile Sensors

Yazhan Zhang, Weihao Yuan+2 more|arXiv (Cornell University)|Oct 9, 2019

EEG and Brain-Computer Interfaces被引用数 20

ひとこと要約

本稿では、視覚ベースのタクトイルセンサを用いたタッチ接触イベントの検出および予測のためのディープラーニングフレームワーク、PixelMotionNetを提案する。6,650件のラベル付きタクトイルシーケンスを収集し、モデルをロボットグリッピングシステムに統合することで、接触検出を伴う物体の持ち上げ成功率が98％に達し、オープンループグリッピングに比べ52％の向上を達成した。これは、外部の干渉に対する耐性およびグリッピングの信頼性の向上を示しており、顕著な改善が得られた。

ABSTRACT

In essence, successful grasp boils down to correct responses to multiple contact events between fingertips and objects. In most scenarios, tactile sensing is adequate to distinguish contact events. Due to the nature of high dimensionality of tactile information, classifying spatiotemporal tactile signals using conventional model-based methods is difficult. In this work, we propose to predict and classify tactile signal using deep learning methods, seeking to enhance the adaptability of the robotic grasp system to external event changes that may lead to grasping failure. We develop a deep learning framework and collect 6650 tactile image sequences with a vision-based tactile sensor, and the neural network is integrated into a contact-event-based robotic grasping system. In grasping experiments, we achieved 52% increase in terms of object lifting success rate with contact detection, significantly higher robustness under unexpected loads with slip prediction compared with open-loop grasps, demonstrating that integration of the proposed framework into robotic grasping system substantially improves picking success rate and capability to withstand external disturbances.

研究の動機と目的

• ロボットグリッピングのための高次元時空間的タクトイル信号の解釈の課題に対処すること。
• 接触イベント（接触の発生・切離・スリップなど）のリアルタイム検出および予測を可能にするデータ駆動型アプローチの開発。
• 多様な接触特性および外部の干渉に適応・一般化する能力に制限があるモデルベース手法の限界を克服すること。
• 接触イベント認識モデルの学習および評価のための、大規模かつ人間がアノテートしたタクトイルシーケンスデータセットの構築。
• 提案されたフレームワークをロボットグリッピングシステムに統合し、予期せぬ荷重下でも耐性および成功率の向上を図ること。

提案手法

• 接触イベント分類と時空間的タクトイルシーケンス予測の2つのサブネットワークを備えたディープラーニングフレームワーク、PixelMotionNetを設計。
• モデルはFingerVisionセンサからの生のタクトイル画像および変位ベクトルフィールドを処理し、HSVカラー空間を用いて変形の方向、大きさ、強度を符号化。
• 人間の専門家が、ヒトのタッチにおける神経細胞の放電パターンを基準に、6,650件のタクトイル画像シーケンスを7つの明確な接触イベントカテゴリに手動でラベル付け。
• 分類および動画予測タスクの両方を別々に学習・評価するためのジョイントトレーニングおよび評価スキームを採用。
• リアルタイムのグリッピング実験のため、UR10ロボットアームに搭載されたRobotiq 2指グリッパーにモデルを統合。
• 接触検出は接触が確認された後でのみグリッパーの調整をトリガーするため、クローズドループグリッピングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 高次元のタクトイルシーケンスから複数のタイプの接触イベントを効果的に検出・予測できるか。
• RQ2 接触イベント予測を組み込むことで、ノイズや不確実性のある条件下でのロボットグリップ成功率がどのように向上するか。
• RQ3 予期せぬ荷重などの外部の干渉に対して、提案されたフレームワークがどれほど耐性を発揮するか。
• RQ4 データ駆動型アプローチが、複雑なタクトイル相互作用の分類において、従来のモデルベース手法を上回るか。
• RQ5 視覚的およびプロ prioceptiveモダリティが欠落している状況下で、モデルが接触発生およびスリップイベントをどれほど効果的に検出できるか。

主な発見

• 接触検出部の導入により、10種類の多様な物体を対象に、物体の持ち上げ成功率がオープンループ時の46％から98％に上昇し、52％の向上を達成。
• スリップ予測を組み込むことで、グリッピングシステムは7つの加重条件下でも安定したグリップを維持したが、オープンループシステムは3つの加重でスリップにより失敗した。
• PixelMotionNetフレームワークは、接触イベント分類および時空間的シーケンス予測の両面で優れた性能を発揮し、収集したデータセット上でベースラインモデルを上回った。
• 6,650件のタクトイルシーケンスからなる人間によるアノテート済みデータセットは、今後のタクトイル認識およびロボットグリッピング分野の研究における貴重なベンチマークを提供する。
• モデルは異なる物体の形状・サイズ・素材に対して優れた一般化性能を示し、実世界の変動への適応可能性を示した。
• フレームワークにより、接触イベントの検出およびスリップのリアルタイム予測が可能となり、反応型グリッピングが実現され、システムの耐性が著しく向上した。