[논문 리뷰] Tac3D: A Novel Vision-based Tactile Sensor for Measuring Forces Distribution and Estimating Friction Coefficient Distribution

Lunwei Zhang, Yue Wang외 1명|arXiv (Cornell University)|2022. 02. 13.

Tactile and Sensory Interactions인용 수 31

한 줄 요약

Tac3D은 가상 쌍안경 시각을 활용하는 시각 기반 촉각 센서를 도입하여 3D 촉각 정보와 힘 분포를 측정하고 마찰 계수 분포를 추정하며 마찰 매핑이 적용된 3D 객체 모델을 재구성합니다.

ABSTRACT

The importance of force perception in interacting with the environment was proven years ago. However, it is still a challenge to measure the contact force distribution accurately in real-time. In order to break through this predicament, we propose a new vision-based tactile sensor, the Tac3D sensor, for measuring the three-dimensional contact surface shape and contact force distribution. In this work, virtual binocular vision is first applied to the tactile sensor, which allows the Tac3D sensor to measure the three-dimensional tactile information in a simple and efficient way and has the advantages of simple structure, low computational costs, and inexpensive. Then, we used contact surface shape and force distribution to estimate the friction coefficient distribution in contact region. Further, combined with the global position of the tactile sensor, the 3D model of the object with friction coefficient distribution is reconstructed. These reconstruction experiments not only demonstrate the excellent performance of the Tac3D sensor but also imply the possibility to optimize the action planning in grasping based on the friction coefficient distribution of the object.

연구 동기 및 목표

• 조작 작업에서 정확한 실시간 접촉 힘 분포 측정의 필요성을 제시한다.
• 시각 기반 촉각 센싱 접근법(Tac3D)을 제안하여 3D 촉각 정보와 힘 매핑을 얻는다.
• 접촉 영역의 마찰 계수 분포 추정을 가능하게 한다.
• 센서 데이터와 전역 포즈를 이용해 마찰 분포를 가진 3D 물체 모델 재구성한다.

제안 방법

• 촉각 센서에 가상 쌍안경 시각을 적용하여 3D 촉각 정보를 캡처한다.
• 시각 데이터로부터 접촉 표면 형상을 도출하고 힘 분포를 계산한다.
• 접촉 형상과 힘 데이터로 마찰 계수 분포를 추정한다.
• 촉각 데이터와 전역 포즈를 결합해 마찰 매핑이 포함된 객체의 3D 모델을 재구성한다.
• 재구성 실험을 통해 성능과 행동 계획 최적화 가능성을 검증한다.

실험 결과

연구 질문

• RQ1 시각 기반 촉각 센서가 실시간으로 3D 접촉 표면 형상을 정확하게 측정할 수 있는가?
• RQ2 센서 데이터를 이용해 접촉 영역 내 마찰 계수 분포를 추정할 수 있는가?
• RQ3 3D 촉각 정보와 마찰 매핑을 이용해 공간적 마찰 분포를 갖는 물체의 3D 모델을 재구성할 수 있는가?
• RQ4 마찰 분포 지식이 파지 계획에 미치는 잠재적 영향은 무엇인가?

주요 결과

• The Tac3D sensor enables measurement of 3D tactile information and contact force distribution using a vision-based approach.
• Friction coefficient distribution can be estimated from the contact surface shape and force data.
• Combined with global pose, Tac3D supports reconstruction of a 3D object model with friction distribution.
• Experiments demonstrate the sensor’s performance and imply benefits for friction-aware grasp planning.