[논문 리뷰] Visuo-Tactile-Based Slip Detection Using A Multi-Scale Temporal Convolution Network

Junli Gao, Zhaoji Huang외 3명|arXiv (Cornell University)|2023. 02. 27.

Tactile and Sensory InteractionsNeuroscience인용 수 3

한 줄 요약

이 논문은 다중 척도 시간 컨volution 네트워크(MS-TCN)를 사용하여 시각적 및 촉각적 데이터에서 시간적 특징을 추출하여 로봇 집게 중 실시간 슬립 감지를 위한 시각-촉각 융합 딥 러닝 모델인 CNN-MSTCN을 제안한다. 이 모델은 50종의 일상 물체로 구성된 자체 구축 데이터셋에서 96.96%의 정확도를 기록하며, LSTM 기반 기준 모델을 능가하고 다양한 촉각 센서 간에 우수한 일반화 성능을 보여준다.

ABSTRACT

Humans can accurately determine whether the object in hand has slipped or not by visual and tactile perception. However, it is still a challenge for robots to detect in-hand object slip through visuo-tactile fusion. To address this issue, a novel visuo-tactile fusion deep neural network is proposed to detect slip, which is a time-dependent continuous action. By using the multi-scale temporal convolution network (MS-TCN) to extract the temporal features of visual and tactile data, the slip can be detected effectively. In this paper, a 7-dregree-of-freedom (7-DoF) robot manipulator equipped with a camera and a tactile sensor is used for data collection on 50 daily objects with different shapes, materials, sizes, and weights. Therefore, a dataset is built, where the grasping data of 40 objects and 10 objects are used for network training and testing, respectively. The detection accuracy is 96.96% based on the proposed model. Also, the proposed model is compared with a visuo-tactile fusion deep neural network (DNN) based on long short-term memory network (LSTM) on the collected dataset and a public dataset using the GelSight tactile sensor. The results demonstrate that the proposed model performs better on both dataset. The proposed model can help robots grasp daily objects reliably. In addition, it can be used in grasping force control, grasping policy generation and dexterous manipulation.

연구 동기 및 목표

• 다양한 감각 모odalities를 융합하여 로봇 집게 중 신뢰할 수 있는 손상 감지 문제를 해결하기 위해.
• RNN 기반 모델(예: LSTM)에 비해 TCN의 장점을 활용하여 연속적인 슬립 감지를 위한 시간적 특징 추출을 향상시키기 위해.
• 다양한 물체 유형과 촉각 센서 모달리티에서 잘 작동하는 강건하고 일반화 가능한 모델을 개발하기 위해.
• 실세계 로봇 조작에서 슬립 감지를 평가하기 위한 포괄적인 시각-촉각 데이터셋을 구축하기 위해.
• 부드럽고 높은 변형성을 가지는 물체에 대해 촉각 센서 단독으로 감지하는 데 한계가 있음을 탐구하기 위해.

제안 방법

• 7-DoF 로봇 조작자에 실시간 RGB 카메라인 RealSense D455와 XELA 촉각 센서를 장착하여 50종의 일상 물체를 집고 들어올리는 과정에서 시각-촉각 데이터를 수집한다.
• 시각적 및 촉각적 데이터는 별도의 스트림 인코더를 통해 처리되어 시공간적 특징을 추출한 후 융합된다.
• 융합된 특징에서 장거리 시간적 의존성을 모델링하기 위해 다중 척도 시간 컨볼루션 네트워크(MS-TCN)를 적용한다.
• MS-TCN는 다양한 시간 척도에서 시간적 동역학을 포착하기 위해 다중 수신 영역을 가진 확장 컨볼루션을 사용한다.
• 최종 분류를 위해 완전 연결층을 사용하는 후기 융합 전략으로 시각적 및 촉각적 특징을 융합한다.
• 모델은 40개의 학습용 물체에서 엔드 투 엔드로 학습되고, 10개의 별도 테스트 물체에서 평가된다.

실험 결과

연구 질문

• RQ1 다중 척도 시간 컨볼루션 네트워크는 연속적인 슬립 감지를 위해 시각-촉각 데이터에서 시간적 특징을 효과적으로 추출할 수 있는가?
• RQ2 시각-촉각 융합은 단일 모달리티 입력에 비해 슬립 감지 정확도를 어떻게 향상시키는가?
• RQ3 제안된 모델은 배열 기반 및 광학 센서와 같은 다양한 촉각 센서 유형 간에 일반화되는가?
• RQ4 왜 촉각 단독 감지가 부드럽고 변형성이 높은 물체에서 성능이 열 劣하는가? 융합은 이를 어떻게 완화하는가?
• RQ5 물체의 경도가 촉각 단독 모델과 시각-촉각 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 CNN-MSTCN 모델은 50종의 일상 물체로 구성된 자체 구축 데이터셋에서 슬립 감지 정확도 96.96%를 달성한다.
• 시각-촉각 융합은 시각 단독 및 촉각 단독 모달리티보다 유의미하게 뛰어나며, 마사지 볼과 같은 연성 물체에서는 촉각 단독 성능이 50%로 급격히 하락함을 확인한다.
• 모델은 공개된 GelSight 기반 데이터셋에서도 뛰어난 성능을 보이며, 다양한 센서 간의 강건성(로버스트니)을 입증한다.
• 촉각 단독 예측은 부드럽고 변형성이 높은 물체에서 안정 상태와 슬립 상태 간의 이미지 패턴이 유사하여 실패하며, 이는 융합 모델이 성공적으로 보완한다.
• MS-TCN 아키텍처는 자체 구축 및 공개 데이터셋 모두에서 LSTM 기반 기준 모델을 능가하며, 시간적 모델링에서의 우수성을 확인한다.
• 다중 모달리티 통합을 통해 연성 및 고도로 변형 가능한 물체에서 안정된 집게 상태가 슬립으로 잘못 분류되는 문제를 효과적으로 완화한다.