[논문 리뷰] GelSight Fin Ray: Incorporating Tactile Sensing into a Soft Compliant Robotic Gripper

Sandra Q. Liu, Edward H. Adelson|arXiv (Cornell University)|2022. 04. 14.

Advanced Sensor and Energy Harvesting Materials인용 수 5

한 줄 요약

이 논문은 고해상도 촉각 센서를 탄성적인 Fin Ray 손가락에 통합한 새로운 연질 로봇 집게인 GelSight Fin Ray를 제시한다. 촉각 재구성, 물체 방향 추정, 마커 추적을 결합하여 이 집게는 외부 시각 시스템 없이도 유리잔을 정확히 세운 상태로 재배치하는 데 성공하며, 비정형 환경에서의 향상된 조작 능력을 입증한다.

ABSTRACT

To adapt to constantly changing environments and be safe for human interaction, robots should have compliant and soft characteristics as well as the ability to sense the world around them. Even so, the incorporation of tactile sensing into a soft compliant robot, like the Fin Ray finger, is difficult due to its deformable structure. Not only does the frame need to be modified to allow room for a vision sensor, which enables intricate tactile sensing, the robot must also retain its original mechanically compliant properties. However, adding high-resolution tactile sensors to soft fingers is difficult since many sensorized fingers, such as GelSight-based ones, are rigid and function under the assumption that changes in the sensing region are only from tactile contact and not from finger compliance. A sensorized soft robotic finger needs to be able to separate its overall proprioceptive changes from its tactile information. To this end, this paper introduces the novel design of a GelSight Fin Ray, which embodies both the ability to passively adapt to any object it grasps and the ability to perform high-resolution tactile reconstruction, object orientation estimation, and marker tracking for shear and torsional forces. Having these capabilities allow soft and compliant robots to perform more manipulation tasks that require sensing. One such task the finger is able to perform successfully is a kitchen task: wine glass reorientation and placement, which is difficult to do with external vision sensors but is easy with tactile sensing. The development of this sensing technology could also potentially be applied to other soft compliant grippers, increasing their viability in many different fields.

연구 동기 및 목표

• 유리 같은 취약한 물체를 재배치하는 것과 같은 촉각 피드백이 필요한 복잡한 조작 작업을 수행할 수 있도록 연성 로봇 집게를 가능하게 하기 위해.
• 기계적 탄성도 손상되지 않도록 탄성적인 로봇 손가락에 고해상도 촉각 센서를 통합하는 데 도전하는 것.
• 연성 로봇 시스템에서 자가 감지 변형과 촉각 접촉 정보를 분리하여 정확한 상태 추정을 가능하게 하기 위해.
• 외부 센서 피드백 없이 내부 센서 피드백만으로 물체 방향 추정 및 미끄럼 감지를 가능하게 하는 촉각 센싱 시스템을 개발하기 위해.
• 외부 시각 시스템 없이도 실제 작업, 예를 들어 유리잔 재배치와 같은 작업에서 촉각 피드백만으로 조작이 가능한지의 실현 가능성을 입증하기 위해.

제안 방법

• 3D 프린팅된 Fin Ray 손가락 구조에 내장된 시각 기반 촉각 센싱 시스템을 갖춘 탄성적이고 길쭉한 GelSight 센서를 설계한다.
• 표면 변형을 캡처하기 위해 마커가 내장된 투명 실리콘 패드를 사용하여 고해상도 촉각 재구성을 가능하게 한다.
• 실리콘 표면의 마커 이동을 분석하여 물체의 방향과 전단력/비틀림력을 추정하는 마커 추적 알고리즘을 적용한다.
• 변형된 실리콘 패드의 원시 영상 데이터에서 비교정된 3차원 표면 지도를 생성하기 위해 촉각 재구성 알고리즘을 적용한다.
• 촉각 피드백만을 사용하는 닫힌 루프 조작이 가능한 로봇 시스템에 센서가 장착된 손가락을 통합한다.
• 주방 작업을 통해 시스템을 검증한다: 외부 시각 시스템 없이도 유리잔을 정확히 세운 상태로 재배치하는 작업.

실험 결과

연구 질문

• RQ1 내장된 시각 기반 촉각 센싱을 갖춘 연성 탄성 로봇 손가락이 물체의 형태와 표면 특징을 정확하게 재구성할 수 있는가?
• RQ2 탄성 센서에서 유도된 촉각 피드백만으로도 시스템이 물체의 방향을 신뢰성 있게 추정하고, 미끄럼 또는 비틀림력을 감지할 수 있는가?
• RQ3 외부 시각 시스템 없이도 촉각 피드백만으로 복잡한 조작 작업(예: 취약한 유리잔 재배치)을 성공적으로 수행할 수 있는가?
• RQ4 센서 노이즈와 변형이 존재할 경우, 촉각 재구성과 마커 추적 간 성능를 어떻게 비교할 수 있는가?
• RQ5 다양한 접촉력과 물체 기하학적 형태에서 촉각 센싱 시스템이 얼마나 견고하게 유지되는가?

주요 결과

• GelSight Fin Ray는 외부 시각 시스템 없이도 유리잔을 정확히 세운 상태로 재배치하여 촉각 피드백만으로도 조작이 가능한 것을 입증했다.
• 마커 추적 알고리즘이 촉각 재구성 알고리즘보다 더 견고했으며, 최소한의 접촉만으로도 작동했고 노이즈에 덜 민감했다.
• 손가락의 주축을 따라 마커의 이동을 감지함으로써 정확한 물체 방향 추정을 달성했다.
• 촉각 재구성은 보정되지 않은 3차원 표면 지도를 생성하여 밀봉용 유리병에 새겨진 문자와 같은 물체 특징을 시각화할 수 있었지만, 높이 지도는 보정되지 않았다.
• 매우 작은 또는 무거운 물체에서는 실리콘 패드의 변형이 부족하여 재구성 및 방향 추정에 어려움을 겪었다.
• 신경망 통합과 같은 향후 개선 조치를 통해 재구성 정확도를 향상시키고 기준 영상 매칭에 대한 의존도를 줄일 수 있을 것으로 기대된다.