[논문 리뷰] Slip Detection with Combined Tactile and Visual Information

Jianhua Li, Siyuan Dong외 1명|arXiv (Cornell University)|2018. 02. 27.

Robot Manipulation and Learning참고 문헌 11인용 수 14

한 줄 요약

이 논문은 깊이 학습 기반의 슬립 감지 방법을 제안하며, 촉각(GelSight 센서)과 시각(외부 카메라) 데이터를 융합하여 로봇의 抓지 안정성을 향상시킨다. 94종의 일상적 물체에 대해 1,102회의 抓지 훈련을 거친 모델은 10개의 미리보지 않은 테스트 물체에서 슬립 감지를 88.03%의 정확도로 달성하여, 다중 모odal 융합이 단일 센서 접근 방식보다 뛰어나며, 특히 매끄럽거나 미끌어지는 물체에서는 시각이 촉각 감지 이상의 중요한 운동 신호를 제공함을 입증한다.

ABSTRACT

Slip detection plays a vital role in robotic manipulation and it has long been a challenging problem in the robotic community. In this paper, we propose a new method based on deep neural network (DNN) to detect slip. The training data is acquired by a GelSight tactile sensor and a camera mounted on a gripper when we use a robot arm to grasp and lift 94 daily objects with different grasping forces and grasping positions. The DNN is trained to classify whether a slip occurred or not. To evaluate the performance of the DNN, we test 10 unseen objects in 152 grasps. A detection accuracy as high as 88.03% is achieved. It is anticipated that the accuracy can be further improved with a larger dataset. This method is beneficial for robots to make stable grasps, which can be widely applied to automatic force control, grasping strategy selection and fine manipulation.

연구 동기 및 목표

• 물체 조작 중 슬립을 감지하여 로봇의 抓지 안정성을 향상시키기 위해.
• 매끄럽거나 낮은 마찰 계수를 가진 물체에서 단일 센서 감지의 한계를 보완하기 위해 촉각과 시각 모달리티를 융합함으로써.
• 물체의 물리적 파라미터에 대한 사전 지식이 필요 없이 데이터 기반의 종단 간 슬립 감지 시스템을 개발하기 위해.
• 촉각과 시각 정보가 상호 보완적임을 입증하기 위해, 특히 촉각 신호가 모호한 경우나 표면 무늬가 없는 물체에서는 시각이 중요한 단서를 제공함을 보여주기 위해.

제안 방법

• 딥 신경망(DNN)은 로봇 그립퍼에 장착된 GelSight 촉각 센서와 외부 카메라에서 얻은 영상 시퀀스를 사용하여 抓지 안정성을 분류하도록 훈련된다.
• DNN은 양 센서에서 온 6프레임 입력 시퀀스를 처리하여 초기 들어올림 단계 동안의 운동을 시간적으로 모델링할 수 있다.
• GelSight 센서의 촉각 데이터는 고해상도 표면 변형과 마커 이동을 캡처하여 상대 운동 추정에 활용된다.
• 외부 카메라의 시각 데이터는 물체가 그립퍼에 비해 어떻게 움직이는지를 기록하여, 촉각 신호가 약하거나 모호한 경우의 단서를 제공한다.
• 모델은 힘과 그립 위치가 다양한 94종의 다양한 일상 물체에 대해 1,102회의 抓지 데이터로 훈련된다.
• 제거 분석(ablation studies)은 다중 모달 모델의 성능을 단일 센서 기반 모델(GelSight 전용 및 카메라 전용)과 비교한다.

실험 결과

연구 질문

• RQ1 딥 신경망이 촉각과 시각 정보를 효과적으로 융합하여 단일 센서 방법보다 더 정확하게 슬립을 감지할 수 있는가?
• RQ2 특히 매끄럽거나 미끌어지는 물체에서 다중 모달 모델의 성능이 촉각 전용 또는 시각 전용 모델보다 어떻게 뛰어나게 되는가?
• RQ3 물체의 물리적 특성에 대한 사전 지식 없이도 모델이 미리보지 않은 물체에 일반화할 수 있는가?
• RQ4 촉각과 시각 데이터의 융합이 기존의 임계값 기반 방법보다 조기에 미세한 슬립을 감지할 수 있는가?

주요 결과

• 다중 모달 DNN은 10개의 미리보지 않은 테스트 물체에서 슬립 감지 정확도 88.03%를 달성하여 단일 센서 기반 기준선보다 유의미하게 뛰어난 성능을 보였다.
• 이전 연구에서 제안한 임계값 기반 방법보다 조기에 슬립을 감지했으며, 이전 방법은 오직 71%의 정확도를 기록했다.
• rheostat처럼 매끄럽고 무늬가 없는 물체에서는 GelSight 센서가 마커 이동이 거의 없어 슬립을 감지하지 못했지만, 외부 카메라는 물체의 운동을 캡처하여 정확한 분류를 가능하게 했다.
• 모델은 촉각 센서 표면의 신축으로 인한 가짜 운동이 아닌 실제 슬립(물체와 센서 표면 간 상대 운동)을 구분하여, 센서 오염물에 대한 강건성을 입증했다.
• 촉각과 시각 데이터의 융합은 상호 보완적이었으며, 특히 촉각 신호가 약한 미끌어지는 물체나 표면 무늬가 없는 물체에서는 시각이 핵심 단서를 제공했고, 촉각 데이터는 시각 운동의 모호함을 해소하는 데 기여했다.
• 결과적으로 DNN은 공간적 및 시간적 패턴을 다중 모달 간 통합하여, 도전적인 조건에서도 抓지 안정성을 추론하는 데 성공했다.