[論文レビュー] Deep Learning for Tactile Understanding From Visual and Haptic Data

Yang Gao, Lisa Anne Hendricks+2 more|arXiv (Cornell University)|Nov 19, 2015

Robot Manipulation and Learning参考文献 11被引用数 28

ひとこと要約

本稿では、視覚的および触覚的データを統合して、滑らか、金属的、圧縮可能などの触覚的形容詞を分類するための深層学習フレームワークを提案する。深層ニューラルネットワークを用いて、複数モodal間で統一された特徴を学習する。視覚的および触覚的信号を組み合わせることで、単一モダリティのアプローチに比べて分類精度が著しく向上することが示され、『cool』の分類では視覚モデルが、『metallic』および『compressible』の分類では触覚モデルが優れている。

ABSTRACT

Robots which interact with the physical world will benefit from a fine-grained tactile understanding of objects and surfaces. Additionally, for certain tasks, robots may need to know the haptic properties of an object before touching it. To enable better tactile understanding for robots, we propose a method of classifying surfaces with haptic adjectives (e.g., compressible or smooth) from both visual and physical interaction data. Humans typically combine visual predictions and feedback from physical interactions to accurately predict haptic properties and interact with the world. Inspired by this cognitive pattern, we propose and explore a purely visual haptic prediction model. Purely visual models enable a robot to "feel" without physical interaction. Furthermore, we demonstrate that using both visual and physical interaction signals together yields more accurate haptic classification. Our models take advantage of recent advances in deep neural networks by employing a unified approach to learning features for physical interaction and visual observations. Even though we employ little domain specific knowledge, our model still achieves better results than methods based on hand-designed features.

研究の動機と目的

• ロボットが視覚的および触覚的センサリデータを用いて、物体の触覚的性質を予測できるようにすること。
• 視覚的および触覚的信号から豊富で転送可能な特徴を、最小限のドメイン特化設計で学習する統一された深層学習フレームワークを開発すること。
• 質的触覚的形容詞を分類する際の視覚的および触覚的モダリティの補完性を調査すること。
• 活性化解析を用いて、特定の形容詞（例：『metallic』、『compressible』）を分類する際に、どの触覚的信号（例：温度、圧力）が最も予測力があるかを分析すること。

提案手法

• BioTacセンサからの生の触覚信号を用いて、深層畳み込みニューラルネットワーク（CNN）を訓練し、個々の信号（例：$p_{AC}$、$t_{AC}$）を独立して処理する『グループ化』戦略を採用してから統合する。
• 視覚モデルの重みを、素材分類で事前学習済みの重みで初期化することで、1,000件未満の訓練インスタンスで効果的な学習を可能にするトランスファーラーニングを採用した。
• 視覚的および触覚的特徴を、早期統合または遅延統合戦略で統合し、触覚的形容詞のベンチマークデータセット上で性能を評価した。
• 複数の触覚的形容詞におけるモデル性能を評価するためにAUCスコアを用い、単一モダリティ（視覚的または触覚的）モデルとマルチモーダルモデルを比較した。
• 最終畳み込み層（conv3）からの活性化マップを用いて特徴の重要性を分析し、分類に最も寄与した触覚信号チャネルを同定した。
• 3つの異なるトレイン/テスト分割を用いたアブレーションスタディにより、結果の堅牢性および一般化性能を確認した。

実験結果

リサーチクエスチョン

• RQ1 視覚的および触覚的データの生の入力から、最小限のドメイン特化特徴工学を用いて、深層ニューラルネットワークが効果的に触覚分類の特徴を学習できるか？
• RQ2 物理的相互作用データを用いない純粋な視覚的触覚予測の性能は、物理的相互作用データを用いるモデルに比べてどの程度優れているか？
• RQ3 視覚的および触覚的信号は、触覚的形容詞を分類する際に、どの程度補完的であるか？
• RQ4 『metallic』や『compressible』のような特定の形容詞を分類する際に、どの具体的な触覚的信号（例：温度、圧力、電極活性）が最も予測力があるか？

主な発見

• 視覚的および触覚的特徴を統合するマルチモーダルモデルは、単一モダリティモデルよりも顕著に高いAUCスコアを達成しており、2つのモダリティの補完性が裏付けられた。
• 『cool』の分類において、純粋な視覚モデルが触覚モデルを上回った。これは、色や反射率といった視覚的ヒントが熱感知の強力な予測要因である可能性を示唆している。
• 『metallic』の分類において、触覚モデルが視覚モデルを上回った。これは、触覚的認識において熱伝導率と圧力応答が重要であるためと考えられる。
• 活性化解析により、『metallic』物体の分類において、コア温度変化（$t_{AC}$）が重要な信号であることが判明した。一方、『compressible』物体の分類には電極活性が不可欠であった。
• 『metallic』物体の誤分類は、常に$t_{AC}$チャネルでの低活性化と関連しており、モデルが熱フィードバックに依存していることが示された。
• モデルは試行間で良好に一般化しており、同じ物体に対する異なる物理的相互作用でも類似した活性化パターンが観察された。