[論文レビュー] Learning to Identify Object Instances by Touch: Tactile Recognition via Multimodal Matching

Justin Lin, Roberto Calandra+1 more|arXiv (Cornell University)|Mar 8, 2019

Tactile and Sensory Interactions参考文献 23被引用数 6

ひとこと要約

本論文では、視覚と触覚を用いたクロスモーダルインスタンス認識のためのディープラーニング手法を提案している。ロボットは、GelSightセンサから得られるタクトイルセンサデータと視覚画像を照合することで、物体インスタンスを同定する。98個の物体を対象に自己教師あり、自律的データ収集を実施し、モデルは視覚的・タクトイル的観測の照合において高い正確性を達成している。新規物体に対しても同様に、人間の性能を上回っている。

ABSTRACT

Much of the literature on robotic perception focuses on the visual modality. Vision provides a global observation of a scene, making it broadly useful. However, in the domain of robotic manipulation, vision alone can sometimes prove inadequate: in the presence of occlusions or poor lighting, visual object identification might be difficult. The sense of touch can provide robots with an alternative mechanism for recognizing objects. In this paper, we study the problem of touch-based instance recognition. We propose a novel framing of the problem as multi-modal recognition: the goal of our system is to recognize, given a visual and tactile observation, whether or not these observations correspond to the same object. To our knowledge, our work is the first to address this type of multi-modal instance recognition problem on such a large-scale with our analysis spanning 98 different objects. We employ a robot equipped with two GelSight touch sensors, one on each finger, and a self-supervised, autonomous data collection procedure to collect a dataset of tactile observations and images. Our experimental results show that it is possible to accurately recognize object instances by touch alone, including instances of novel objects that were never seen during training. Our learned model outperforms other methods on this complex task, including that of human volunteers.

研究の動機と目的

• 視覚的センシングが遮蔽や照明不良のため信頼できない状況下でも、触覚による物体インスタンス認識の課題に対処すること。
• 同じ物体のタクトイル的および視覚的観測の間で、二値照合タスクとしてクロスモーダルインスタンス認識を定式化すること。
• ロボットが物体を自律的に把持し、視覚的およびタクトイル的データのペアを記録することで、大規模かつ自己教師ありのデータ収集を可能にすること。
• タクトイルセンシングのみで、訓練中に見られなかった物体を含む、正確で一般化可能な物体インスタンス認識が可能かどうかを評価すること。
• 同じタクトイル-視覚照合タスクにおいて、学習済みモデルの性能を人間の被験者と比較すること。

提案手法

• システムは、ロボットのグリッパーの指先に取り付けられた2つのGelSightタクトイルセンサを用い、把持中に高解像度の表面変形画像を取得する。
• 畳み込みニューラルネットワーク（CNN）を、与えられた視覚画像とタクトイル読み取りペアが同じ物体インスタンスを表しているかどうかを分類するように訓練する。
• 正例のトレーニングペアは、1つの物体のすべてのタクトイル読み取りをその対応する画像と関連付けることで作成される。すべての異物ペアは負例として扱われる。
• データセットは、98種類の異なる物体を繰り返し把持することで自律的に収集され、人間によるラベルなしで自己教師あり学習が可能になる。
• モデルの評価は、学習済みおよび未学習の物体の両方で、少数ショット分類（K=1,5）を用い、テスト分割における正確性で測定される。
• 人間のベースライン性能は、同じ5ショット分類タスクにおいて11名の被験者を対象に制御実験で収集された。

実験結果

リサーチクエスチョン

• RQ1 視覚的観測と組み合わせた場合、タクトイルセンシングのみでロボットが物体インスタンスを正確に認識できるか。
• RQ2 自己教師あり学習アプローチが、訓練中に見られなかった新しい物体インスタンスにどの程度一般化できるか。
• RQ3 タクトイル-視覚照合タスクにおいて、深層学習モデルの性能が人間の性能と比べてどうなるか。
• RQ4 GelSightセンサからの高解像度タクトイルイメージングが、視覚データとの信頼性の高いクロスモーダル照合を可能にするか。
• RQ5 訓練データに含まれない物体に対してテストされた場合、モデルの正確性が維持されるか。

主な発見

• モデルは、訓練中に見られなかった新規物体に対しても、ランダムな当たる確率をはるかに上回る正確性でタクトイルデータのみから物体インスタンスを認識している。
• 5ショット分類タスクにおいて、モデルは学習済みおよびテスト用の物体の両方で高い正確性を維持しており、図8の赤および青の棒は、未学習インスタンスでも一貫した性能を示している。
• モデルは、同じ5ショットタクトイル-視覚照合タスクにおいて、人間の被験者を上回っており、限られたデータからの一般化およびパターン認識能力に優れていることが示された。
• 自己教師ありデータ収集手順により、人間によるラベルなしで大規模かつ低コストなデータ取得が可能となり、スケーラブルなモデルトレーニングを支援している。
• 本システムは、タクトイルセンシングと深層学習を組み合わせることで、遮蔽や照明変動といった困難な条件下でも、強固で一般化可能なインスタンス認識が可能であることを示している。
• 結果から、ロボット操作における物体インスタンス認識の主たるモダリティとしてタクトイルセンシングを用いることが実現可能であると検証された。