[논문 리뷰] A soft thumb-sized vision-based sensor with accurate all-round force perception

Huanbo Sun, Katherine J. Kuchenbecker외 1명|arXiv (Cornell University)|2021. 11. 10.

Tactile and Sensory Interactions인용 수 9

한 줄 요약

이 논문은 단일 단일 렌즈 카메라를 사용하여 정확한 3차원 전방 힘 인식을 가능하게 하는 부드럽고 손톱만한 시각 기반 촉각 센서인 Insight을 제안한다. 콜리메이터를 통해 광역 스테레오와 구조화된 빛을 조합함으로써, 단일 에라스토머 층의 3차원 표면 변형을 캡처하고, 딥 뉴럴 네트워크가 0.4 mm 해상도와 0.03 N의 힘 크기 정확도로 공간적으로 분해능 있는 법선 및 전단력 힘을 추론한다. 이는 0.03–2 N의 힘 범위에서 성능을 발휘한다.

ABSTRACT

Vision-based haptic sensors have emerged as a promising approach to robotic touch due to affordable high-resolution cameras and successful computer-vision techniques. However, their physical design and the information they provide do not yet meet the requirements of real applications. We present a robust, soft, low-cost, vision-based, thumb-sized 3D haptic sensor named Insight: it continually provides a directional force-distribution map over its entire conical sensing surface. Constructed around an internal monocular camera, the sensor has only a single layer of elastomer over-molded on a stiff frame to guarantee sensitivity, robustness, and soft contact. Furthermore, Insight is the first system to combine photometric stereo and structured light using a collimator to detect the 3D deformation of its easily replaceable flexible outer shell. The force information is inferred by a deep neural network that maps images to the spatial distribution of 3D contact force (normal and shear). Insight has an overall spatial resolution of 0.4 mm, force magnitude accuracy around 0.03 N, and force direction accuracy around 5 degrees over a range of 0.03--2 N for numerous distinct contacts with varying contact area. The presented hardware and software design concepts can be transferred to a wide variety of robot parts.

연구 동기 및 목표

• 실세계 로봇 조작에 적합한 견고하고, 부드럽고, 소형의 3차원 촉각 센서를 개발하기 위해.
• 기존의 시각 기반 센서의 한계점인 취약성, 두꺼움, 힘 방향 정확도 부족 문제를 극복하기 위해.
• 단일 카메라와 단순한 기계적 설계만으로도 정확하고 전방향 3차원 힘 인식을 가능하게 하기 위해.
• 복잡한 校정을 회피하고 재료의 비선형성을 처리할 수 있는 데이터 기반, 기계학습 기반 접근법을 제공하기 위해.
• 민감한 조작과 장기적 사용에 적합한 고공간 해상도와 높은 힘 정확도를 갖춘 센서를 만들기 위해.

제안 방법

• 센서는 단일 층의 에라스토머를 강성 있는 프레임에 오버모ลด링하여 부드운 접촉, 내구성, 민감도를 확보한다.
• 센서 내부의 단일 렌즈 카메라는 광역 스테레오(그림자)와 구조화된 색채 빛을 모두 이용해 변형된 표면의 영상을 캡처한다.
• 콜리메이터를 사용해 원뿔형 감지 표면 전체에 균일하게 구조화된 빛을 투사함으로써 3차원 변형 감지를 향상시킨다.
• 이 시스템은 영상 입력(기록된 영상와 기준 영상의 차이, 그리고 스켈레톤 마스크 포함)을 공간적 힘 분포로 매핑하는 딥 뉴럴 네트워크를 활용한다.
• 네트워크는 다양한 힘과 접촉 면적을 포함한 총 112,000개의 접촉 샘플로 구성된 대규모 자동 수집 데이터셋을 기반으로 훈련된다.
• 입력은 영상 차이(기록된 영상에서 기준 영상 빼기)와 스켈레톤 마스크를 포함하여, 네트워크가 강성 영역을 식별하고 과소평가를 보정하는 데 도움을 준다.

실험 결과

연구 질문

• RQ1 단일 층, 부드러운, 시각 기반 센서가 전체 원뿔형 표면에서 고정밀도 3차원 힘 인식을 달성할 수 있는가?
• RQ2 단일 카메라로만 작동할 때 광역 스테레오와 구조화된 빛을 조합하면 3차원 변형 추정 성능가 어떻게 향상되는가?
• RQ3 수작업으로 校정하지 않고도 딥 러닝 모델이 힘 크기와 방향(법선 및 전단력)을 얼마나 정확하게 추론할 수 있는가?
• RQ4 네트워크 입력에 스켈레톤 마스크를 포함시키면 강성 영역에서의 힘 추정 정확도에 어떤 영향을 미치는가?
• RQ5 실세계 로봇 응용에서 신뢰할 수 있는 힘 예측 성능을 달성하기 위해 필요한 최소 데이터셋 크기는 얼마인가?

주요 결과

• Insight는 힘 국소화에 대해 0.4 mm의 해상도를 달성하여 기존의 시각 기반 센서인 GelTip(5 mm 해상도)에 비해 뚜렷이 뛰어난 성능을 보였다.
• 센서는 0.03–2 N 힘 범위에서 힘 크기 정확도 약 0.03 N, 힘 방향 정확도 약 5도를 보였다.
• 네트워크 입력에 스켈레톤 마스크를 포함시킴으로써 강성 영역에서의 힘 과소평가가 감소하여 전체 정확도가 향상되었다.
• grayscale 대비 색채로 구분된 구조화된 빛을 사용함으로써 힘 정확도가 향상되었으며, 이는 색채 정보가 3차원 변형 추정에 기여함을 시사한다.
• 제거 실험 결과, 전체 훈련 데이터의 20–40%만으로도 모델이 강력한 성능 유지를 보였으며, 이는 높은 데이터 효율성을 의미한다.
• 이 센서는 현재까지 가장 소형의 시각 기반 촉각 센서이며, 유사한 시스템들 대비 가장 높은 면적 대 부피 비율(A/V)을 기록하여 소형 로봇 부품에의 통합을 가능하게 한다.