[論文レビュー] FingerVision Tactile Sensor Design and Slip Detection Using Convolutional LSTM Network

Yazhan Zhang, Zicheng Kan+3 more|arXiv (Cornell University)|Oct 5, 2018

Advanced Sensor and Energy Harvesting Materials参考文献 19被引用数 74

ひとこと要約

本論文は、埋め込みマーカーを備えた光学ベースの触覚センサ FingerVisionと、変形場データを用いた滑り検出のConvLSTMベースフレームワークを提示する。

ABSTRACT

Tactile sensing is essential to the human perception system, so as to robot. In this paper, we develop a novel optical-based tactile sensor "FingerVision" with effective signal processing algorithms. This sensor is composed of soft skin with embedded marker array bonded to rigid frame, and a web camera with a fisheye lens. While being excited with contact force, the camera tracks the movements of markers and deformation field is obtained. Compared to existing tactile sensors, our sensor features compact footprint, high resolution, and ease of fabrication. Besides, utilizing the deformation field estimation, we propose a slip classification framework based on convolution Long Short Term Memory (convolutional LSTM) networks. The data collection process takes advantage of the human sense of slip, during which human hand holds 12 daily objects, interacts with sensor skin and labels data with a slip or non-slip identity based on human feeling of slip. Our slip classification framework performs high accuracy of 97.62% on the test dataset. It is expected to be capable of enhancing the stability of robot grasping significantly, leading to better contact force control, finer object interaction and more active sensing manipulation.

研究の動機と目的

• 高解像度で安定した光学ベースの触覚センサを、容易に製作可能な状態で開発する。
• マーカーの動きから密な変形場を捉え、接触の理解を深める。
• 変形データ上で時空間学習モデルを用いて滑り挙動を検出する。
• 既存手法と比較して滑り検出性能を評価し、移植性を分析する。
• 堅牢な grasping および操作の潜在的改善を示す。

提案手法

• FingerVisionの設計: 埋め込みマーカー列を有するエラストマー、二眼の魚眼カメラ、安定したマーカー追跡のための囲われたフレーム。
• ブロブ検出とフレームごとのKNN対応アプローチによるマーカ検出と追跡。
• 追跡されたマーカー変位のRBF補間による変形場再構成。
• 10フレームの多チャネル変形場入力（dx, dy, magnitude）を処理して滑りか非滑りを分類する畳み込みLSTMネットワーク。
• モデルの詳細: 隠れユニット64、カーネル5×5のConvLSTMの後に全結合層を配置し2クラス出力を生成。
• 800の滑りサンプルと800の非滑りサンプルでトレーニング（スライディングウィンドウで8000に増強）、クロスエントロピー損失とAdam最適化を使用。

実験結果

リサーチクエスチョン

• RQ1 FingerVisionは触覚センサリングと接触の特徴づけに信頼できるマーカーベースの変形場を提供できるか？
• RQ2 ConvLSTMフレームワークは時空間変形データから滑りイベントを正確に検出できるか？
• RQ3 ConvLSTMベースの滑り検出は、精度と効率の点でCNN+LSTMや単一信号アプローチと比較してどうか？
• RQ4 ロボットプラットフォームでのリアルタイム滑り検出に適しているか？
• RQ5 物体や製作バリエーションを横断してアプローチの移植性はどの程度か？

主な発見

• ConvLSTMを用いた補間変形場で滑り検出精度97.62%。
• ConvLSTMモデルは269,826パラメータ、テストしたハードウェアでリアルタイムのフォワードパス時間は0.014秒。
• 比較手法は88.03%（CNN+LSTM）と94.5%（スペクトル信号のLSTM）で、性能はやや劣る。
• FingerVisionは動的把持タスクに適した高解像度で安定した変形場を提供。
• 本手法は高い精度と把持の安定性・接触感知の改善の可能性を示す。