[논문 리뷰] A Vision-Based Tactile Sensing System for Multimodal Contact Information Perception via Neural Network

Wei Xu, Guoyuan Zhou외 5명|arXiv (Cornell University)|2023. 10. 03.

Tactile and Sensory Interactions참고 문헌 34인용 수 4

한 줄 요약

이 논문은 단일 센서와 딥 뉴럴 네트워크를 사용하여 복수의 접촉 모odalities—예를 들어 물체 분류, 위치, 자세, 힘—을 별도의 분리 설계 없이 동시에 인식하는 시각 기반 触각 감지 시스템을 제안한다. 이 시스템은 시각적 표현에서 종단 간 학습을 통해 다중 모달 터치 인식을 실현하며, 하드웨어 및 처리 복잡성을 감소시켜 로봇 공학 및 생물의학 분야의 통합 감지에 기여한다.

ABSTRACT

In general, robotic dexterous hands are equipped with various sensors for acquiring multimodal contact information such as position, force, and pose of the grasped object. This multi-sensor-based design adds complexity to the robotic system. In contrast, vision-based tactile sensors employ specialized optical designs to enable the extraction of tactile information across different modalities within a single system. Nonetheless, the decoupling design for different modalities in common systems is often independent. Therefore, as the dimensionality of tactile modalities increases, it poses more complex challenges in data processing and decoupling, thereby limiting its application to some extent. Here, we developed a multimodal sensing system based on a vision-based tactile sensor, which utilizes visual representations of tactile information to perceive the multimodal contact information of the grasped object. The visual representations contain extensive content that can be decoupled by a deep neural network to obtain multimodal contact information such as classification, position, posture, and force of the grasped object. The results show that the tactile sensing system can perceive multimodal tactile information using only one single sensor and without different data decoupling designs for different modal tactile information, which reduces the complexity of the tactile system and demonstrates the potential for multimodal tactile integration in various fields such as biomedicine, biology, and robotics.

연구 동기 및 목표

• 각 접촉 모달리티에 대해 별도의 하드웨어나 데이터 분리 설계 없이 복수의 접촉 모달리티를 캡처할 수 있는 컴act한 단일 센서 기반 터치 시스템을 개발하는 것.
• 다중 센서 구성을 시각 기반 접근법으로 대체하여 로봇 시스템 내 다중 모달 터치 감지의 복잡성을 감소시키는 것.
• 통합된 신경망 아키텍처를 통해 단일 입력 이미지에서 분류, 위치, 자세, 힘과 같은 다양한 터치 정보를 종단 간 인식하는 것.
• 시각적 표현 학습을 활용하여 단일 센서 시스템에 복수의 터치 모달리티를 통합하는 것이 가능한지 실험적으로 입증하는 것.
• 로봇 공학, 생물의학 및 생물학적으로 영감을 받은 시스템에 응용 가능한 시각 기반 터치 감지의 잠재력을 탐색하는 것.

제안 방법

• 접촉 상호작용을 시각 패턴으로 인코딩하는 광학 구조를 갖춘 시각 기반 터치 센서를 설계한다.
• 센서의 변형을 카메라로 촬영한 시각 이미지에서 다중 모달 정보를 포함하고 있다.
• 딥 뉴럴 네트워크를 종단 간 학습하여 시각적 표현을 복수의 터치 모달리티—물체 분류, 접촉 위치, 자세, 힘—로 디코딩한다.
• 단일 입력 이미지에서 복수의 출력을 동시에 회귀 및 분류하기 위해 네트워크 아키텍처를 최적화하여 모달리티별로 독립된 분리 설계가 필요 없도록 한다.
• 동일한 시각 입력에서 모든 터치 모달리티를 동시에 최적화하기 위해 다중 작업 학습 프레임워크를 사용하여 훈련 과정을 수행한다.
• 다양한 물체를 사용한 로봇 손 구현체에서 시스템의 정확성과 내구성을 평가하기 위해 시험을 실시한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크를 갖춘 단일 시각 기반 터치 센서가 위치, 힘, 자세, 물체 클래스와 같은 복수의 접촉 모달리티를 동시에 인식할 수 있는가?
• RQ2 모달리티별로 독립된 분리 설계 없이 통합된 신경망 아키텍처가 시각적 표현에서 다양한 터치 정보를 얼마나 잘 디코딩할 수 있는가?
• RQ3 정확성과 시스템 복잡성 측면에서 기존의 다중 센서 터치 시스템과 비교해 본다면 제안된 시스템의 성능는 어떠한가?
• RQ4 다양한 접촉 힘, 물체 형태 및 그립 자세 조건에서 시스템의 내구성은 어떠한가?
• RQ5 광범위한 재학습이나 센서 재구성 없이도 실제 로봇 응용에 일반화될 수 있는가?

주요 결과

• 이 시스템은 단일 시각 기반 센서와 단일 신경망만을 사용하여 분류, 위치, 자세, 힘 등의 복수 터치 모달리티를 성공적으로 인식한다.
• 제안된 방법은 각 터치 모달리티에 대해 별도의 데이터 분리나 하드웨어 설계가 필요 없음을 확인하여 시스템 복잡성을 크게 감소시킨다.
• 딥 뉴럴 네트워크는 센서 변형의 시각적 표현에서 접촉 힘, 위치, 물체 자세를 높은 정확도로 추정한다.
• 다양한 물체와 접촉 조건에서도 뛰어난 내구성과 일반화 능력을 보이며, 강력한 일반화 능력을 입증한다.
• 결과적으로, 단일 센서에서 유도된 시각적 표현은 깊이 신경망에 의해 디코딩될 경우 다중 모달 터치 인식에 충분한 정보를 포함하고 있음을 보여준다.
• 이 접근법은 로봇 공학, 보철물, 생물의학 기기 등에 잠재적인 응용이 가능한 통합 터치 감지 시스템을 가능하게 한다.