[논문 리뷰] Control of the Final-Phase of Closed-Loop Visual Grasping using Image-Based Visual Servoing

Jesse Haviland, Feras Dayoub외 1명|arXiv (Cornell University)|2020. 01. 16.

Advanced Vision and Imaging인용 수 8

한 줄 요약

이 논문은 RGB-D 기반의 그립 시스템의 최소 깊이 측정 거리 이내에서의 닫힘 루프 그립 제어 범위를 확장하기 위해 영상 기반 시각 피드백(이하 IBVS)을 사용하는 스위칭 제어 전략을 제안한다. 마지막 유효한 깊이 영상에서 목표 영상 특징을 예측하고, SIFT 특징을 활용해 강건한 대응 관계를 확립함으로써, 이 방법은 움직이는 물체의 신뢰할 수 있는 그립을 가능하게 하며, 동적 실험에서 76.25%의 성공률을 달성한다. 이는 개방 루프 기반 시스템보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

This paper considers the final approach phase of visual-closed-loop grasping where the RGB-D camera is no longer able to provide valid depth information. Many current robotic grasping controllers are not closed-loop and therefore fail for moving objects. Closed-loop grasp controllers based on RGB-D imagery can track a moving object, but fail when the sensor's minimum object distance is violated just before grasping. To overcome this we propose the use of image-based visual servoing (IBVS) to guide the robot to the object-relative grasp pose using camera RGB information. IBVS robustly moves the camera to a goal pose defined implicitly in terms of an image-plane feature configuration. In this work, the goal image feature coordinates are predicted from RGB-D data to enable RGB-only tracking once depth data becomes unavailable -- this enables more reliable grasping of previously unseen moving objects. Experimental results are provided.

연구 동기 및 목표

• RGB-D 센서의 최소 깊이 측정 거리 이내에서 접근할 경우 닫힘 루프 RGB-D 그립 제어기가 실패하는 문제를 해결하기 위해.
• 오직 RGB 영상 데이터만을 사용하여 최종 그립 단계 동안 지속적인 닫힘 루프 제어를 가능하게 하기 위해.
• 물체 모델이 필요 없이 깊이 데이터와 로봇의 종단 기구 자세를 기반으로 IBVS의 목표 영상 특징 구성 예측 방법을 개발하기 위해.
• 동적 환경에서 이전에 본 적 없는 움직이는 물체에 대해 그립 신뢰성을 향상시키기 위해.

제안 방법

• 마지막 유효한 깊이 영상, 로봇 종단 기구 자세, 그리고 그립 합성기 출력을 기반으로 IBVS의 목표 영상 특징 구성 예측하기.
• IBVS 동안 강건한 특징 대응 관계를 확보하기 위해 척도 및 회전에 불민한 SIFT 특징 사용하기.
• 마지막 유효한 깊이 측정에서 유도된 고정된 깊이 추정치를 사용해 영상 임계 행렬 계산하기.
• 물체가 RGB-D 카메라의 최소 측정 거리에 진입할 경우 깊이 기반 제어에서 IBVS로 전환하기.
• IBVS를 구현하여 영상 특징이 예측된 목표 구성으로 향하도록 제어함으로써, 영상 평면상에서 직선 운동을 보장하기.
• 1회 추론당 19ms 내외로 실시간으로 작동하는 그립 합성기와 IBVS 제어기를 통합하기.

실험 결과

연구 질문

• RQ1 RGB-D 카메라의 최소 깊이 측정 거리를 초월해 IBVS가 닫힘 루프 그립 제어 범위를 효과적으로 확장할 수 있는가?
• RQ2 단일 깊이 영상과 로봇 자세로부터 IBVS의 목표 영상 특징 구성은 얼마나 정확하게 예측할 수 있는가?
• RQ3 움직이는 물체에 대해 최종 그립 단계에서 IBVS를 사용할 경우 개방 루프 그립과 비교해 성능 향상은 어느 정도인가?
• RQ4 특징의 안정성과 가시성은 IBVS 기반 그립 시스템의 강건성에 어떤 영향을 미치는가?
• RQ5 동적 환경에서 제안된 스위칭 제어 전략의 주요 실패 원인은 무엇인가?

주요 결과

• 제안된 스위칭 제어기는 움직이는 물체를 대상으로 한 동적 그립 실험에서 76.25%의 그립 성공률을 달성하였으며, 기준 개방 루프 시스템의 0% 성공률에 비해 뚜렷하게 뛰어난 성능을 보였다.
• IBVS 제어기는 고정된 깊이 추정치를 사용함에도 불구하고, 예측된 목표 구성으로 영상 특징이 안정적으로 이동하며 영상 평면상에서 거의 직선에 가까운 경로를 따르는 것을 확인하였다.
• SIFT 특징은 이진 특징에 비해 추적 노이즈가 더 높았지만, 시스템은 안정적으로 목표에 도달하였으며 일관성 있게 작동하였다.
• 더 큰 크기의 물체는 SIFT 특징이 더 뚜렷하여 성공률이 높았으며, 이는 특징의 풍부함이 성능 향상에 기여함을 시사한다.
• 주요 실패 원인은 매우 빠르게 움직이는 물체가 카메라의 시야에서 벗어나거나 고속도로 인한 영상 흐림이었으며, 이는 속도 추정 및 피드포워드 제어의 필요성을 시사한다.
• 모델 기반의 그립 합성의 장점을 유지하면서도 최종 그립 단계까지 닫힘 루프 제어를 확장함으로써, 예측 불가능하고 동적인 환경에서의 물체에 대해 강건한 그립을 가능하게 하였다.