[論文レビュー] Connecting Look and Feel: Associating the visual and tactile properties of physical materials

Wenzhen Yuan, Shaoxiong Wang+2 more|arXiv (Cornell University)|Apr 12, 2017

Tactile and Sensory Interactions参考文献 21被引用数 13

ひとこと要約

本論文は、視覚（色と深度画像）および触覚（GelSightセンサ）データを同時に学習することで、織物の共有埋め込みベクトルを学習するマルチモーダル深層学習フレームワークを提案する。これにより、織物の性質に関する正確なクロスマodal予測が可能になる。主な貢献は、触覚データを併用した共同学習が、視覚のみでテストされた場合でも視覚マッチング性能を顕著に向上させることを示しており、触覚入力が物質理解のための視覚表現学習を強化することを示している。

ABSTRACT

For machines to interact with the physical world, they must understand the physical properties of objects and materials they encounter. We use fabrics as an example of a deformable material with a rich set of mechanical properties. A thin flexible fabric, when draped, tends to look different from a heavy stiff fabric. It also feels different when touched. Using a collection of 118 fabric sample, we captured color and depth images of draped fabrics along with tactile data from a high resolution touch sensor. We then sought to associate the information from vision and touch by jointly training CNNs across the three modalities. Through the CNN, each input, regardless of the modality, generates an embedding vector that records the fabric's physical property. By comparing the embeddings, our system is able to look at a fabric image and predict how it will feel, and vice versa. We also show that a system jointly trained on vision and touch data can outperform a similar system trained only on visual data when tested purely with visual inputs.

研究の動機と目的

• 機械が視覚的および触覚的知覚を関連付けることで、物理的素材特性を理解できるようにすること。
• 同じ織物の視覚的および触覚的信号が近くなるように、共有埋め込み空間を学習すること。
• 触覚データが視覚的表現学習を改善するかどうかを調査すること。
• データ拡張、折りたたみ部分への接触、人間によるアノテーションクラスタが埋め込み品質に与える影響を評価すること。
• 視覚のみの単モーダル学習に比べ、複数モーダル間の共同学習が優れていることを実証すること。

提案手法

• システムは、色画像、深度画像、GelSight触覚画像をそれぞれ処理する3つの独立したCNN（AlexNetに基づく）を使用し、それぞれが4096次元の埋め込みベクトルを出力する。
• クロスマodal損失関数は、同じ織物の3つのモーダル間の埋め込みのL2距離の合計を最小化する：$ D_3 = \|\mathbf{E}_1 - \mathbf{E}_2\| + \|\mathbf{E}_1 - \mathbf{E}_3\| + \|\mathbf{E}_3 - \mathbf{E}_2\| $。
• ネットワークは、118種類の織物サンプルを対象に共同学習され、各サンプルは垂れ下がった状態の色画像/深度画像と、折りたたみ領域からの複数のGelSight触覚画像として取得されている。
• 色画像に対してガンマ補正（0.5–2.0）およびRGBチャネルのシャッフルを用いたデータ拡張が施され、耐性向上が図られている。
• 視覚マッチングのベースラインとしてシアンセイス・ニューラルネットワーク（SNN）が用いられ、深度画像およびGelSight入力の両方を用いて学習されたクロスマodalネットワークと性能が比較されている。
• 人間によるアノテーションクラスタが、より意味のある埋め込み表現を学習するための補助的監視として用いられている。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、視覚的および触覚的両モーダルから織物の物理的特性を捉えた共有埋め込み空間を学習できるか？
• RQ2 触覚データを統合することで、視覚入力でのみテストされた場合でも、視覚的素材認識タスクの性能が向上するか？
• RQ3 プレスを織物の折りたたみ部分に加えること、複数の触覚入力、人間によるアノテーションクラスタといった要因が、学習された埋め込みの品質に与える影響は何か？
• RQ4 視覚入力におけるデータ拡張が、クロスマodalマッチングの一般化性能にどの程度向上効果をもたらすか？
• RQ5 視覚と触覚の共同学習は、単一モーダル学習（視覚のみ）に比べ、新素材に対する一般化性能を向上させるか？

主な発見

• 共同クロスマodalネットワークは、単モーダルSNNに比べ、深度画像マッチングで優れた性能を示し、同じテストセットでトップ1精度が0.608を達成したのに対し、SNNは0.482であった。
• 新素材のテストにおいて、共同モデルはトップ1精度0.606を達成し、単モーダルSNNの0.554を顕著に上回った。
• 色画像に対するデータ拡張により、深度画像から色画像へのマッチングのトップ1精度が0.4329から0.4674に向上し、耐性向上が示された。
• 1つの織物に対して3つのGelSight画像を入力とするマルチインプットネットワークは、特に薄くて硬いブロードクロスのような類似織物の間の誤認識を低減し、最も高いクラスタリング精度を達成した。
• 平らな表面ではなく、折りたたみ部分に触覚を加えることで、より豊かな機械的フィードバックが得られ、より良い埋め込み表現が得られた。
• 人間によるアノテーションクラスタは、硬さや厚さの差が微細な織物に対して、より判別力のある埋め込みを学習するのを助けた。