[논문 리뷰] Towards Learning to Detect and Predict Contact Events on Vision-based Tactile Sensors

Yazhan Zhang, Weihao Yuan외 2명|arXiv (Cornell University)|2019. 10. 09.

EEG and Brain-Computer Interfaces인용 수 20

한 줄 요약

이 논문은 시각 기반 촉각 센서를 사용하여 촉각 접촉 사건을 탐지하고 예측하기 위한 딥러닝 프레임워크인 PixelMotionNet을 제안한다. 6,650개의 레이블이 부여된 촉각 시퀀스를 수집하고 모델을 로봇 집게 시스템에 통합함으로써, 접촉 탐지 시스템을 통해 물체를 들어 올리는 데 성공률가 98%에 도달하였으며, 이는 개방형 집게 방식 대비 52% 향상된 결과로, 외부 간섭에 대한 저항력과 집게 신뢰도 향상에 있어 뚜렷한 성과를 보였다.

ABSTRACT

In essence, successful grasp boils down to correct responses to multiple contact events between fingertips and objects. In most scenarios, tactile sensing is adequate to distinguish contact events. Due to the nature of high dimensionality of tactile information, classifying spatiotemporal tactile signals using conventional model-based methods is difficult. In this work, we propose to predict and classify tactile signal using deep learning methods, seeking to enhance the adaptability of the robotic grasp system to external event changes that may lead to grasping failure. We develop a deep learning framework and collect 6650 tactile image sequences with a vision-based tactile sensor, and the neural network is integrated into a contact-event-based robotic grasping system. In grasping experiments, we achieved 52% increase in terms of object lifting success rate with contact detection, significantly higher robustness under unexpected loads with slip prediction compared with open-loop grasps, demonstrating that integration of the proposed framework into robotic grasping system substantially improves picking success rate and capability to withstand external disturbances.

연구 동기 및 목표

• 로봇 집게에 활용하기 위한 고차원의 시공간적 촉각 신호를 해석하는 데 도전하는 것.
• 실시간으로 접촉 탐지 및 예측이 가능한 데이터 기반 접근법을 개발하여, 접촉 형성, 끊어짐, 미끄러짐 등의 접촉 사건을 다루는 것.
• 다양한 접촉 특성과 외부 간섭에 대한 일반화 능력과 적응성에 한계가 있는 모델 기반 방법의 한계를 극복하는 것.
• 학습 및 평가를 위한 접촉 사건 인식 모델을 위한 대규모 인간 레이블링 촉각 시퀀스 데이터셋을 구축하는 것.
• 제안된 프레임워크를 로봇 집게 시스템에 통합하여 예상치 못한 하중 상황에서도 내구성과 성공률을 향상시키는 것.

제안 방법

• 접촉 사건 분류와 시공간적 촉각 시퀀스 예측을 위한 두 개의 하위 네트워크를 갖춘 딥러닝 프레임워크인 PixelMotionNet을 설계하였다.
• 모델은 FingerVision 센서로부터의 원시 촉각 이미지와 변위 벡터 필드를 처리하며, 변형의 방향, 크기, 강도를 표현하기 위해 HSV 색상 공간을 사용한다.
• 인간 전문가가 인간 촉각에서 관찰된 신경 활성 패tern을 바탕으로 6,650개의 촉각 이미지 시퀀스를 일곱 가지 명시적 접촉 사건 카테고리로 수작업으로 레이블링 하였다.
• 분류 및 비디오 예측 작업을 위한 별도의 하위 네트워크를 갖춘 공동 학습 및 평가 기반의 프레임워크를 적용하였다.
• 로봇의 UR10 암에 장착된 Robotiq 2지부 집게에 모델를 통합하여 실시간 집게 실험을 수행하였다.
• 접촉 탐지 기능은 접촉이 확인된 후에만 집게 조정을 유도함으로써, 닫힌 루프 집게를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 고차원의 촉각 시퀀스에서 다양한 유형의 접촉 사건을 효과적으로 탐지하고 예측할 수 있는가?
• RQ2 접촉 사건 예측 기능을 통합함으로써, 노이즈가 많거나 불확실한 조건에서 로봇 집게 성공률는 어떻게 향상되는가?
• RQ3 제안된 프레임워크가 예상치 못한 하중과 같은 외부 간섭에 대해 얼마나 높은 내구성을 제공하는가?
• RQ4 복잡한 촉각 상호작용을 분류하는 데 있어 데이터 기반 접근법이 전통적인 모델 기반 방법을 능가할 수 있는가?
• RQ5 시각적 및 프로 prioceptive 모odalities가 없는 조건에서 모델이 접촉 형성 및 미끄러짐 사건 탐지에 얼마나 효과적인가?

주요 결과

• 접촉 탐지 모듈을 적용함으로써 10종의 다양한 물체에 대해 물체를 들어 올리는 성공률가 개방형 방식의 46%에서 98%로 상승하여 52% 향상되었다.
• 미끄러짐 예측 기능을 통합한 시스템은 7개의 하중을 유지하는 동안 안정적인 집게를 유지한 반면, 개방형 시스템은 3개의 하중 후에 미끄러짐으로 인해 실패하였다.
• PixelMotionNet 프레임워크는 접촉 사건 분류 및 시공간적 시퀀스 예측 모두에서 높은 성능를 보였으며, 수집된 데이터셋에서 기준 모델보다 뛰어난 성능를 기록하였다.
• 6,650개의 촉각 시퀀스로 구성된 인간 레이블링 데이터셋은 향후 촉각 인식 및 로봇 집게 연구를 위한 유의미한 기준점이 되었다.
• 모델는 다양한 물체의 형태, 크기, 재질에 걸쳐 뛰어난 일반화 능력을 보이며, 실제 환경의 변형에 적응 가능함을 입증하였다.
• 실시간으로 접촉 사건 탐지 및 미끄러짐 예측이 가능한 프레임워크는 반응형 집게를 가능하게 하여 시스템의 내구성 향상에 크게 기여하였다.