[論文レビュー] ViTac: Feature Sharing between Vision and Tactile Sensing for Cloth Texture Recognition

Shan Luo, Wenzhen Yuan+3 more|arXiv (Cornell University)|Feb 21, 2018

Tactile and Sensory Interactions参考文献 19被引用数 15

ひとこと要約

本稿では、視覚と触覚センシングの間で共有された潜在空間を学習するための深層融合フレームワークであるViTacを提案する。Deep Maximum Covariance Analysis (DMCA) を用いて、カメラ画像とGelSightの触覚データからの特徴を統合することで、90%を超える認識精度を達成し、両モダリティの補完的情報を活用することで単一モダリティの性能を向上させる。

ABSTRACT

Vision and touch are two of the important sensing modalities for humans and they offer complementary information for sensing the environment. Robots could also benefit from such multi-modal sensing ability. In this paper, addressing for the first time (to the best of our knowledge) texture recognition from tactile images and vision, we propose a new fusion method named Deep Maximum Covariance Analysis (DMCA) to learn a joint latent space for sharing features through vision and tactile sensing. The features of camera images and tactile data acquired from a GelSight sensor are learned by deep neural networks. But the learned features are of a high dimensionality and are redundant due to the differences between the two sensing modalities, which deteriorates the perception performance. To address this, the learned features are paired using maximum covariance analysis. Results of the algorithm on a newly collected dataset of paired visual and tactile data relating to cloth textures show that a good recognition performance of greater than 90\% can be achieved by using the proposed DMCA framework. In addition, we find that the perception performance of either vision or tactile sensing can be improved by employing the shared representation space, compared to learning from unimodal data.

研究の動機と目的

• 視覚と触覚センシングの統合による衣類のテクスチャ認識の向上を図り、両モダリティの補完的情報を活用すること。
• 照明、色のばらつき、力による変形といったモダリティ固有の変化を軽減する共通の潜在空間を学習すること。
• 片方のモダリティでテストした際にも、共有表現が認識性能を向上させることを示すこと。
• 衣類のテクスチャ認識のための新しいペア化された視覚-触覚データセット（ViTac）を提供すること。
• 視覚と触覚センシングからの深層特徴が、最大共分散分析を用いて効果的にアライメント可能であることを検証すること。

提案手法

• カメラ画像とGelSightの触覚センサデータから高次元特徴を抽出するために深層ニューラルネットワークを用いる。
• 視覚と触覚特徴間の相関を最大化するように、共通の低次元潜在空間を学習するためにDeep Maximum Covariance Analysis (DMCA) を適用する。
• DMCAフレームワークは、両モダリティ間の共分散を最大化するとともに、モダリティ固有のノイズとばらつきを低減することで特徴をアライメントする。
• ペア化された視覚および触覚データ上で学習することで、推論時におけるペア化データの必要性を排除し、共同表現学習を可能にする。
• テスト時に片方のモダリティ（視覚または触覚）のみが利用可能な状況でも、共有表現を用いて分類性能を向上させる。
• 二モダリティデータで学習し、単一モダリティデータでテストすることで、汎化性能と性能向上を評価するフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚と触覚センシングの間で、単一モダリティの性能を超える衣類のテクスチャ認識を向上させる共通の潜在空間を学習可能か？
• RQ2 学習時に片方のモダリティを含めることで、推論時のもう片方のモダリティの認識精度にどのような影響を与えるか？
• RQ3 DMCAが、照明、力、色のばらつきなどのモダリティ固有のばらつきをどの程度低減できるか、同時に共有されたテクスチャ情報はどの程度保持されるか？
• RQ4 視覚または触覚データ単体でテストした場合、提案されたDMCAフレームワークが単一モダリティベースラインを上回るか？
• RQ5 二モダリティデータから学習した共有表現は、未知の新しい衣類のテクスチャに効果的に一般化可能か？

主な発見

• 提案されたDMCAフレームワークは、二モダリティデータから学習した共有表現を用いて、カメラ画像のみでテストした場合に92.6%の衣類のテクスチャ認識精度を達成した。
• GelSightの触覚データのみでテストした場合、90%の精度を達成し、単一モダリティベースラインよりも顕著な向上を示した。
• 単一モダリティデータでのみ学習した場合、視覚のみのモデルはGelSightのテストデータで16.7%の精度にとどまり、触覚のみのモデルはカメラデータで14.8%にとどまった。これは、共有表現の利点を示している。
• 両モダリティの性能が共有表現を用いることで向上しており、片方のモダリティからの補完的特徴が他方の性能を向上させていることが示された。
• 出力次元が20を超えて増加するにつれて、両モダリティの分類精度が約90%で収束することが確認され、最適な表現に収束していることが示された。
• 結果から、MCAがハンドクラフト特徴に限らず、マルチモーダル学習における深層ニューラルネットワークで学習された特徴に対しても有効であることが確認された。