[논문 리뷰] GelSight Wedge: Measuring High-Resolution 3D Contact Geometry with a Compact Robot Finger

Shaoxiong Wang, Yu She외 2명|arXiv (Cornell University)|2021. 06. 16.

Tactile and Sensory Interactions참고 문헌 27인용 수 6

한 줄 요약

이 논문은 광학 스테레오 기반으로 3D 접촉 기하학 재구성 기능을 제공하는 작고 고해상도의 3D 촉각 센서인 GelSight Wedge를 제안한다. 이 센서는 1~3개의 방향성 조명을 사용하여 높은 정밀도의 3D 접촉 기하학 재구성을 가능하게 하며, 뿐만 아니라 30장의 校정 이미지로도 고 fidelity 3D 재구성과 실시간 자세 추적 기능을 구현한다. 이는 가림이 있는 환경에서도 가능하다.

ABSTRACT

Vision-based tactile sensors have the potential to provide important contact geometry to localize the objective with visual occlusion. However, it is challenging to measure high-resolution 3D contact geometry for a compact robot finger, to simultaneously meet optical and mechanical constraints. In this work, we present the GelSight Wedge sensor, which is optimized to have a compact shape for robot fingers, while achieving high-resolution 3D reconstruction. We evaluate the 3D reconstruction under different lighting configurations, and extend the method from 3 lights to 1 or 2 lights. We demonstrate the flexibility of the design by shrinking the sensor to the size of a human finger for fine manipulation tasks. We also show the effectiveness and potential of the reconstructed 3D geometry for pose tracking in the 3D space.

연구 동기 및 목표

• 광학적 및 기계적 제약 조건 하에서도 높은 해상도의 3D 접촉 기하학 재구성 기능을 유지하는 작고 로봇 손가락에 적합한 촉각 센서를 개발하는 것.
• 세밀한 조작 및 좁은 공간 작업에 적합한 얇고 슬림한 형상의 센서 설계 최적화.
• 다양한 조명 구성(1~3개의 조명)에 따른 3D 재구성 정밀도 평가 및 비교.
• ICP를 사용하여 재구성된 점군을 기반으로 3D 공간에서의 자세 추적 기능을 입증하는 것.
• 특히 마커나 변형으로 인한 신호 품질 악화 상황에서 재구성 지연을 최소화하여 실시간 피드백 제어를 가능하게 하는 것.

제안 방법

• GelSight Wedge는 3면에 렌즈 없는 LED 어레이를 장착한 4.5 mm 두께의 쐐기형 아크릴 케이스를 사용하여 광학 스테레오에 적합한 방향성 조명을 제공한다.
• 반사성 실리콘 페인트와 색상 기울기 매핑을 활용해 다중 방향 조명으로부터 표면 법선을 추정하고, 포isson 통합을 통해 고해상도 3D 재구성을 실현한다.
• 물리적 필터와 계산 기반 방법(예: 'nearest' 방식을 사용한 격자 기반 기울기 보간)을 조합하여 마커 및 기울기 누락으로 인한 잡음 문제를 완화한다.
• 1조명 작동을 위한 경우, 10,000장의 합성 이미지로 훈련된 U-Net 신경망을 사용해 기울기 추정 성능을 향상시켜 실제 데이터에 대한 의존도를 감소시킨다.
• 재구성된 3D 점군은 반복 최소 제곱(Iterative Closest Point, ICP) 알고리즘과 함께 사용되어 큐브와 같은 물체의 실시간 3D 자세 추적을 수행한다.
• 설계는 확장 가능하며, 인간 손가락 크기로 미니어처화되었음에도 불구하고 재구성 품질을 유지하고 있다.

실험 결과

연구 질문

• RQ1 작고 손가락 크기의 촉각 센서가 더 큰 GelSight 시스템과 비교해도 높은 해상도의 3D 접촉 기하학 재구성을 달성할 수 있는가?
• RQ2 작고 광학적으로 제약이 있는 설계에서 조명 소스의 수(1, 2, 또는 3개)가 3D 재구성 정밀도에 어떤 영향을 미치는가?
• RQ3 실제 세계의 校정 데이터를 광범위하게 요구하지 않고도 신경망이 단일 조명 구성에서 누락된 기울기 정보를 보완할 수 있는가?
• RQ4 접촉만으로 재구성된 3D 기하학이 얼마나 정확하게 가림이 있는 환경에서 물체의 3D 자세를 추적하는 데 기여하는가?
• RQ5 젤 변형, 그림자, 마커 등의 센서 잡음이 재구성 품질에 어떤 영향을 미치며, 이를 완화하기 위한 계산 기반 방법은 무엇인가?

주요 결과

• 기존의 신경망 기반 접근 방식에 비해 훨씬 적은 데이터 요구량을 보이며, 30장의 실제 校정 이미지만으로도 고정밀도 3D 재구성을 달성한다.
• 조명 구성에 대한 선호도 순서는: RGB(3조명) > RG(서로 수직인 2조명) > RB(반대 방향 2조명) > R(1조명)이며, 3조명 설정에서 가장 정확한 기울기 추정이 이루어진다.
• 10,000장의 합성 이미지로 훈련된 U-Net은 단일 조명 작동 시 기울기 추정 성능을 향상시켜 실제 데이터가 거의 필요 없이도 사용 가능한 3D 재구성을 가능하게 한다.
• 'nearest' 방법을 사용한 마커 영향 영역 기울기 보간은 10ms 이내에 완료되어 재구성 잡음을 감소시키며, 실시간 피드백 제어를 가능하게 한다.
• 인간 손가락 크기로 미니어처화되었음에도 불구하고 고해상도 3D 재구성 품질을 유지하여 세밀한 조작 작업에 활용 가능하다.
• 재구성된 3D 점군을 기반으로 ICP 알고리즘을 사용한 자세 추적은 약 10 Hz 업데이트 속도를 달성하며, 다양한 자세에서 큐브의 자세를 정확하게 추적한다.