[論文レビュー] Touch100k: A Large-Scale Touch-Language-Vision Dataset for Touch-Centric Multimodal Representation

Ning Cheng, Changhao Guan+8 more|arXiv (Cornell University)|Jun 6, 2024

Social Robot Interaction and HRIPsychology被引用数 3

ひとこと要約

本論文は、マルチスケールの触覚記述を備えた100,000サンプルのタッチ・言語・ビジョンデータセットであるTouch100kを紹介し、GelSightセンサー向けにタッチ、ビジョン、言語モダリティを統合するカリキュラム学習ベースの事前学習手法TLV-Linkを提案する。この手法は、タッチ表現学習分野で最先端の性能を達成しており、カリキュラム学習を除去するとゼロショット grasping タスクにおける正確性が21.2%低下する（65.4%から44.2%に）、ゼロショットタッチ理解および物性識別における有効性を示している。

ABSTRACT

Touch holds a pivotal position in enhancing the perceptual and interactive capabilities of both humans and robots. Despite its significance, current tactile research mainly focuses on visual and tactile modalities, overlooking the language domain. Inspired by this, we construct Touch100k, a paired touch-language-vision dataset at the scale of 100k, featuring tactile sensation descriptions in multiple granularities (i.e., sentence-level natural expressions with rich semantics, including contextual and dynamic relationships, and phrase-level descriptions capturing the key features of tactile sensations). Based on the dataset, we propose a pre-training method, Touch-Language-Vision Representation Learning through Curriculum Linking (TLV-Link, for short), inspired by the concept of curriculum learning. TLV-Link aims to learn a tactile representation for the GelSight sensor and capture the relationship between tactile, language, and visual modalities. We evaluate our representation's performance across two task categories (namely, material property identification and robot grasping prediction), focusing on tactile representation and zero-shot touch understanding. The experimental evaluation showcases the effectiveness of our representation. By enabling TLV-Link to achieve substantial improvements and establish a new state-of-the-art in touch-centric multimodal representation learning, Touch100k demonstrates its value as a valuable resource for research. Project page: https://cocacola-lab.github.io/Touch100k/.

研究の動機と目的

• ロボット工学分野において、タッチ、言語、ビジョンを統合した大規模かつマルチスケールの言語アノテーション付きタッチデータセットの不足を解消すること。
• タッチ、言語、ビジョンのモダリティを統合することで、強固なタッチ表現を学習する事前学習手法を開発すること。
• 物性識別やロボットグリッピング予測といったタッチ理解タスクにおけるゼロショット一般化を可能にすること。
• データセット規模およびカリキュラム学習のタッチ表現学習性能への影響を評価すること。

提案手法

• 公開データセットから101,982件のビジュアル・タッチ観測を収集し、GPT-4Vを用いてプロンプト工学を適用してマルチスケールのテキスト記述（文レベルおよび語句レベル）を生成することで、Touch100kを構築した。
• ビジョンエンコーダーを教師とし、視覚的およびタッチ的特徴を組み合わせた重み付きカリキュラム表現を通じて、タッチエンコーダー（生徒）をガイドする教師-生徒型カリキュラム学習フレームワークを実装した。
• 生徒モデルの能力が向上するに従い、教師モデルの影響を段階的に低減することで、段階的知識蒸留を実現した。
• テキストエンコーダーを用いてマルチスケールの言語記述を統合し、コントラスト学習を適用してカリキュラム表現と言語モダリティを一致させた。
• 第一段階ではタッチとビジョンの共同学習を、第二段階では固定されたOpenCLIP-largeテキストエンコーダーとのコントラスト的一致を用いて、タッチエンコーダーを訓練した。
• 物性識別およびロボットグリッピング予測タスクにおける線形プローブおよびゼロショット転移評価を通じて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつマルチスケールのタッチ・言語・ビジョンデータセットは、ゼロショットタッチ理解および表現学習を向上させることができるか？
• RQ2 カリキュラム学習は、マルチモodalな事前学習におけるタッチ表現の一般化性と性能をどのように向上させるか？
• RQ3 データセット規模が、タッチ表現学習における下流タスクのパフォーマンスにどの程度影響を与えるか？
• RQ4 提案されたTLV-Link手法は、タッチ、言語、ビジョン間のクロスモダリティ的関係をどの程度効果的に捉えられるか？

主な発見

• TLV-Linkは、物性識別およびロボットグリッピング予測タスクにおける線形プローブおよびゼロショット評価の両方で最先端の性能を達成した。
• カリキュラム表現を除去すると、ゼロショットグリッピング正確性が21.2%低下した（65.4%から44.2%に）、一般化におけるその重要性を確認した。
• データセットサイズを元の25%（25,000サンプル）に縮小しても、線形プローブ性能にほとんど影響がなく、優れたデータ効率性を示した。
• t-SNE可視化では、TLV-Linkが硬い/柔らかいおよび粗い/滑らかな物性カテゴリを効果的に分離しているが、多クラスおよび多様性の高い分布では困難を示した。
• 既存のベースラインを上回る性能を示し、TAGデータセットの特徴が示す上限に近づいたことから、その有効性を検証した。
• アブレーションスタディにより、カリキュラム表現が性能を顕著に向上させることを確認した。特にゼロショット設定において顕著であり、強固なタッチ表現学習における価値を示した。