[論文レビュー] Active Clothing Material Perception using Tactile Sensing and Deep Learning

Wenzhen Yuan, Yuchen Mo+2 more|arXiv (Cornell University)|Nov 2, 2017

Industrial Vision Systems and Defect Detection参考文献 20被引用数 8

ひとこと要約

本論文では、GelSightセンサを用いた触覚センシングとKinectを用いたビジョンガイドド探索を組み合わせることで、厚さ、柔らかさ、洗濯方法など、細分化された衣類素材特性を自律的かつ自動的に認識するロボットシステムを提示する。タクトイル画像分類に畳み込みニューラルネットワーク（CNN）を、深度画像に基づく探索計画に別のCNNを用いることで、2回以内のグリップで77.4%の衣類が自信を持って分類可能となり、再試行を許可することで精度が著しく向上し、未確認の衣類アイテムに対しても効果的なクローズドループ・アクティブタクトイル認識が実現された。

ABSTRACT

Humans represent and discriminate the objects in the same category using their properties, and an intelligent robot should be able to do the same. In this paper, we build a robot system that can autonomously perceive the object properties through touch. We work on the common object category of clothing. The robot moves under the guidance of an external Kinect sensor, and squeezes the clothes with a GelSight tactile sensor, then it recognizes the 11 properties of the clothing according to the tactile data. Those properties include the physical properties, like thickness, fuzziness, softness and durability, and semantic properties, like wearing season and preferred washing methods. We collect a dataset of 153 varied pieces of clothes, and conduct 6616 robot exploring iterations on them. To extract the useful information from the high-dimensional sensory output, we applied Convolutional Neural Networks (CNN) on the tactile data for recognizing the clothing properties, and on the Kinect depth images for selecting exploration locations. Experiments show that using the trained neural networks, the robot can autonomously explore the unknown clothes and learn their properties. This work proposes a new framework for active tactile perception system with vision-touch system, and has potential to enable robots to help humans with varied clothing related housework.

研究の動機と目的

• 自然環境下でロボットが衣類の細分化された素材特性を視覚的分類を超えて自律的に認識できるようにすること。
• 視覚（Kinect）とタクトイル（GelSight）センシングを統合することで、知的な、適応的なプローブを実現する、効果的なタクトイル探索の課題に取り組むこと。
• 分類の信頼性が低い場合に再試行を行うクローズドループシステムを構築し、耐障害性と正確性を向上させること。
• 153種類の多様な衣類アイテムを含み、11のラベル付き特性を持つデータセットを構築し、タクトイル認識モデルの学習と評価に用いること。
• ディープラーニングが未確認の衣類アイテムに一般化でき、アクティブタクトイルセンシングを通じて信頼性の高い特性認識を可能にすることを実証すること。

提案手法

• GelSightタクトイルセンサとKinect深度カメラを装備したロボットアームが、非構造的環境下の衣類アイテムを自律的に探索する。
• システムは、圧縮中に取得した高解像度タクトイル画像から11の衣類特性（例：厚さ、柔らかさ、洗濯方法）を分類するための畳み込みニューラルネットワーク（CNN）を用いる。
• 2番目のCNNがKinect深度画像を処理し、タクトイルプローブの最適な位置（しわの位置など）を検出し、データ品質を向上させる。
• 探索はクローズドループである：タクトイルCNNの分類信頼度が低い場合、ロボットは代替位置で再試行する。
• システムは、153点の衣類アイテムを対象に6,616回の探索反復データを用いて学習し、訓練・検証・テストデータに分割される。
• ハンドクラフト特徴量（例：しわ検出）とディープラーニングを組み合わせたハイブリッドアプローチにより、探索計画における耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非構造的環境下で、ロボットが視覚的およびタクトイルセンシングのみを用いて、衣類の細分化された素材特性を自律的に認識できるか？
• RQ2 ビジョンガイドドのタクトイル探索戦略は、素材特性認識に有用な接触位置を選択する上でどれほど効果的か？
• RQ3 ディープラーニングモデルは、複数ラベルのタクトイル特性分類において、未確認の衣類アイテムにどれほど一般化できるか？
• RQ4 クローズドループの再試行メカニズムは、タクトイルベースの特性認識の信頼性と正確性を向上させるか？
• RQ5 伸縮性、耐久性など、異なる衣類特性は、データセット全体で認識の難易度に差を示すか？

主な発見

• 2回以内のグリップで77.42%の成功率を達成し、『簡単』な衣類を効率的に特定できることを示した。
• 再試行を許可した場合、11の特性すべての平均精度が著しく向上し、特に『伸縮性』（0.74 → 0.81）と『耐久性』（0.86 → 0.86）で顕著な改善が見られた。
• 『ウール素材』および『防風性』の特性に関しては、再試行を経てそれぞれ91%および82%の精度を達成し、意味的特性において優れた性能を示した。
• タクトイルCNNは、未学習のテスト衣類で0.65の平均F1スコアを達成し、ランダム（0.2–0.5）を上回り、学習データセット外への一般化能力を示した。
• 探索計画用のCNNは、有効なグリップ位置の選択に0.73の成功率を示し、衣類の種別や全体的な形状が位置選択性能に大きな影響を与えないことを示した。
• センサの変動に対してもロバストであることが示された。訓練に使用されていない別のGelSightセンサでも、わずかな照明分布の違いを除いて有用な結果が得られた。