[논문 리뷰] FingerVision Tactile Sensor Design and Slip Detection Using Convolutional LSTM Network

Yazhan Zhang, Zicheng Kan외 3명|arXiv (Cornell University)|2018. 10. 05.

Advanced Sensor and Energy Harvesting Materials참고 문헌 19인용 수 74

한 줄 요약

이 논문은 마커가 포함된 광학 기반 촉각 센서인 FingerVision과 변형 필드 데이터를 이용한 미끄럼 감지를 위한 ConvLSTM 기반 프레임워크를 제시한다.

ABSTRACT

Tactile sensing is essential to the human perception system, so as to robot. In this paper, we develop a novel optical-based tactile sensor "FingerVision" with effective signal processing algorithms. This sensor is composed of soft skin with embedded marker array bonded to rigid frame, and a web camera with a fisheye lens. While being excited with contact force, the camera tracks the movements of markers and deformation field is obtained. Compared to existing tactile sensors, our sensor features compact footprint, high resolution, and ease of fabrication. Besides, utilizing the deformation field estimation, we propose a slip classification framework based on convolution Long Short Term Memory (convolutional LSTM) networks. The data collection process takes advantage of the human sense of slip, during which human hand holds 12 daily objects, interacts with sensor skin and labels data with a slip or non-slip identity based on human feeling of slip. Our slip classification framework performs high accuracy of 97.62% on the test dataset. It is expected to be capable of enhancing the stability of robot grasping significantly, leading to better contact force control, finer object interaction and more active sensing manipulation.

연구 동기 및 목표

• 손쉬운 제작으로 고해상도이고 안정적인 광학 기반 촉각 센서를 개발한다.
• 마커_movements로부터 밀집된 변형 필드를 포착하여 접촉을 이해한다.
• 변형 데이터에 대한 시공간 학습 모델을 사용하여 미끄럼 동작을 탐지한다.
• 기존 방법과의 미끄럼 탐지 성능을 평가하고 전이 가능성을 분석한다.
• 강인한 그립 및 조작을 위한 잠재적 개선을 보여준다.

제안 방법

• FingerVision 설계: 마커 배열이 내장된 엘라스토머, 어안 카메라, 안정적인 마커 추적을 위한 밀폐 프레임.
• 블롭 검출과 프레임별 KNN 대응 방식으로 마커 검출 및 추적.
• 추적된 마커 변위의 RBF 보간을 통한 변형 필드 재구성.
• 10프레임 다중 채널 변형 필드 입력(dx, dy, magnitude)을 처리하는 Convolutional LSTM 네트워크로 미끄럼 대 비미끄럼을 분류.
• 모델 세부사항: 64개의 은닉 유닛, 5x5 커널의 ConvLSTM 다음에 두 클래스 출력을 생성하는 완전 연결 계층.
• 슬립 800개, 비슬립 800개의 샘플로 학습(슬라이딩 윈도우를 통해 8000으로 증가), 교차 엔트로피 손실과 Adam 옵티마이저를 사용.

실험 결과

연구 질문

• RQ1 FingerVision이 촉각 센싱 및 접촉 특성화에 신뢰할 수 있는 마커 기반 변형 필드를 제공할 수 있는가?
• RQ2 시공간 변형 데이터에서 ConvLSTM 프레임워크가 미끄럼 이벤트를 정확하게 탐지할 수 있는가?
• RQ3 정확도와 효율성 측면에서 ConvLSTM 기반 미끄럼 탐지가 CNN+LSTM 또는 단일 신호 접근법과 어떻게 비교되는가?
• RQ4 로봇 플랫폼에서 실시간 미끄럼 탐지에 시스템이 적합한가?
• RQ5 객체 및 제조 변형 전이 가능성은 어느 정도인가?

주요 결과

• ConvLSTM를 사용한 보간된 변형 필드로 미끄럼 탐지 정확도 97.62%。
• ConvLSTM 모델은 269,826개의 매개변수를 가지며 테스트 하드웨어에서 실시간 순전파 시간이 0.014초다.
• 비교 방법은 88.03%(CNN+LSTM) 및 94.5%(스펙트럴 신호의 LSTM)로 더 낮은 성능을 보인다.
• FingerVision은 동적 그립 작업에 적합한 고해상도이고 안정적인 변형 필드를 제공한다.
• 이 방법은 조작 작업에서 우수한 정확도와 향상된 그립 안정성 및 접촉 센서 가능성을 시사한다.