[논문 리뷰] Touch100k: A Large-Scale Touch-Language-Vision Dataset for Touch-Centric Multimodal Representation

Ning Cheng, Changhao Guan외 8명|arXiv (Cornell University)|2024. 06. 06.

Social Robot Interaction and HRIPsychology인용 수 3

한 줄 요약

이 논문은 다중 해상도 촉각 기술 기반의 100,000개 샘플로 구성된 터치-언어-시각 데이터셋인 Touch100k를 소개하고, GelSight 센서를 위한 촉각, 시각, 언어 모odal 간의 정렬을 목표로 한 커리큘럼 학습 기반 사전학습 방법인 TLV-Link를 제안한다. 이 방법은 촉각 표현 학습에서 최신 기술 수준의 성능을 달성하였으며, 커리큘럼 학습을 제거할 경우 0-샷 그립핑 정확도가 21.2% 감소(65.4%에서 44.2%로)함으로써, 0-샷 촉각 이해 및 재료 성질 식별에 있어 그 효과를 입증한다.

ABSTRACT

Touch holds a pivotal position in enhancing the perceptual and interactive capabilities of both humans and robots. Despite its significance, current tactile research mainly focuses on visual and tactile modalities, overlooking the language domain. Inspired by this, we construct Touch100k, a paired touch-language-vision dataset at the scale of 100k, featuring tactile sensation descriptions in multiple granularities (i.e., sentence-level natural expressions with rich semantics, including contextual and dynamic relationships, and phrase-level descriptions capturing the key features of tactile sensations). Based on the dataset, we propose a pre-training method, Touch-Language-Vision Representation Learning through Curriculum Linking (TLV-Link, for short), inspired by the concept of curriculum learning. TLV-Link aims to learn a tactile representation for the GelSight sensor and capture the relationship between tactile, language, and visual modalities. We evaluate our representation's performance across two task categories (namely, material property identification and robot grasping prediction), focusing on tactile representation and zero-shot touch understanding. The experimental evaluation showcases the effectiveness of our representation. By enabling TLV-Link to achieve substantial improvements and establish a new state-of-the-art in touch-centric multimodal representation learning, Touch100k demonstrates its value as a valuable resource for research. Project page: https://cocacola-lab.github.io/Touch100k/.

연구 동기 및 목표

• 로봇 공학 분야에서 촉각, 언어, 시각을 통합한 대규모이며 다중 해상도 언어 주석이 부여된 촉각 데이터셋의 부족 문제를 해결하기 위해.
• 촉각, 언어, 시각 모달 간의 정렬을 통해 강력한 촉각 표현을 학습하는 사전학습 방법을 개발하기 위해.
• 재료 성질 식별 및 로봇 그립핑 예측과 같은 촉각 이해 작업에서 0-샷 일반화를 가능하게 하기 위해.
• 데이터셋 규모와 커리큘럼 학습이 촉각 표현 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 공개 데이터셋에서 101,982개의 시각-촉각 관측을 수집하고, GPT-4V를 활용하여 프롬프트 엔지니어링을 통해 다중 해상도 텍스트 기술(문장 수준 및 어휘 수준)을 생성함으로써 Touch100k를 구축함.
• 시각 인코더를 교사로, 촉각 인코더(학생)를 지도하는 교사-학생 커리큘럼 학습 프레임워크를 구현함. 이 과정에서 시각 및 촉각 특징을 융합한 가중치 기반 커리큘럼 표현을 사용함.
• 학생 모델의 능력 향상에 따라 교사 모델의 영향력을 점차 감소시켜 점진적인 지식 정복을 가능하게 함.
• 다중 해상도 언어 기술을 텍스트 인코더를 사용해 융합하고, 대비 학습을 적용하여 커리큘럼 표현과 언어 모달 간의 정렬을 도모함.
• 첫 번째 단계에서 촉각과 시각을 함께 학습하는 공동 학습 방식으로 촉각 인코더를 훈련하고, 두 번째 단계에서는 고정된 OpenCLIP-large 텍스트 인코더와의 대비 정렬을 수행함.
• 재료 성질 식별 및 로봇 그립핑 예측 작업에서 선형 프로빙 및 0-샷 전이 평가를 통해 성능을 평가함.

실험 결과

연구 질문

• RQ1 대규모이며 다중 해상도 기술 기반의 터치-언어-시각 데이터셋은 0-샷 촉각 이해 및 표현 학습을 향상시킬 수 있는가?
• RQ2 커리큘럼 학습은 다중 모달 사전학습에서 촉각 표현의 일반화 능력과 성능을 어떻게 향상시키는가?
• RQ3 데이터셋 규모가 촉각 표현 학습의 후행 성능에 어느 정도 영향을 미치는가?
• RQ4 제안된 TLV-Link 방법은 촉각, 언어, 시각 간의 다중 모달 관계를 얼마나 효과적으로 포착하는가?

주요 결과

• TLV-Link는 재료 성질 식별 및 로봇 그립핑 예측 작업에서 선형 프로빙 및 0-샷 평가 모두 최신 기술 수준의 성능을 달성함.
• 커리큘럼 표현을 제거할 경우 0-샷 그립핑 정확도가 21.2% 감소(65.4%에서 44.2%로)함으로써, 일반화에 있어 그 핵심적 역할을 확인함.
• 데이터셋 크기를 원래의 25%(25,000개 샘플)로 줄여도 선형 프로빙 성능에 미미한 영향을 미침으로써, 높은 데이터 효율성을 보임.
• t-SNE 시각화 결과, TLV-Link는 딱딱/부드러움 및 거칠음/매끄러움 재료 카테고리를 효과적으로 분리하지만, 다중 클래스 및 매우 다양한 분포에는 어려움을 겪음.
• 기존 베이스라인을 모두 능가하며, TAG 데이터셋 특징가 설정한 상한선에 가까운 성능을 보이며 그 효과성을 입증함.
• 제거 실험 결과, 커리큘럼 표현이 성능 향상에 크게 기여함을 확인하였으며, 특히 0-샷 설정에서 그 가치가 두드러짐으로써 강력한 촉각 표현 학습에 기여함을 입증함.