[논문 리뷰] TransSC: Transformer-based Shape Completion for Grasp Evaluation

Wenkai Chen, Hongzhuo Liang외 3명|arXiv (Cornell University)|2021. 07. 01.

Robot Manipulation and Learning참고 문헌 34인용 수 5

한 줄 요약

이 논문은 희소하고 노이즈가 많은 부분 점군으로부터 완전한 3D 물체 형상을 복원함으로써 로봇 그립 평가를 향상시키는 트랜스포머 기반의 형상 보완 네트워크인 TransSC를 제안한다. 전역적 특징 학습을 위해 트랜스포머 인코더를 사용하고, 표면 재구성을 위한 다양체 기반 디코더를 활용함으로써, 시뮬레이션 및 실제 실험에서 그립 성공률을 크게 향상시켰으며, 복셀 기반 및 RANSAC 기반 기준선보다 뛰어난 성능을 보였다.

ABSTRACT

Currently, robotic grasping methods based on sparse partial point clouds have attained a great grasping performance on various objects while they often generate wrong grasping candidates due to the lack of geometric information on the object. In this work, we propose a novel and robust shape completion model (TransSC). This model has a transformer-based encoder to explore more point-wise features and a manifold-based decoder to exploit more object details using a partial point cloud as input. Quantitative experiments verify the effectiveness of the proposed shape completion network and demonstrate it outperforms existing methods. Besides, TransSC is integrated into a grasp evaluation network to generate a set of grasp candidates. The simulation experiment shows that TransSC improves the grasping generation result compared to the existing shape completion baselines. Furthermore, our robotic experiment shows that with TransSC the robot is more successful in grasping objects that are randomly placed on a support surface.

연구 동기 및 목표

• 단일 뷰 센서로부터의 불완전한 기하 정보에 의한 로봇 그립 도전 과제를 해결하기 위해.
• 실제 RGB-D 카메라에서 유도된 희소하고 노이즈가 많은 부분 점군에서 효과적으로 작동하는 강건한 형상 보완 모델을 개발하기 위해.
• 형상 보완을 그립 평가 파이프라인에 통합하여 그립 후보의 품질과 성공률을 향상시키기 위해.
• 터치 피드백과 같은 추가 센서가 필요 없이 실제 세계에서의 로봇 그립을 가능하게 하기 위해.
• 이 방법의 효과성을 시뮬레이션 및 물리적 로봇 실험 모두에서 입증하기 위해.

제안 방법

• 장거리 상관관계와 부분 점군으로부터의 포인트별 주의 특징을 포착하기 위해 트랜스포머 기반 인코더를 사용하는 새로운 인코더-디코더 아키텍처를 제안한다.
• 잠재 특징과 점 시드로부터 공간 표면을 예측하여 고해상도이고 세부적인 표면을 생성하는 다각체 기반 디코더를 사용한다.
• 실제 카메라 노이즈와 가림을 포함한 YCB-Video 데이터셋에서 유도된 대규모 비합성 부분 점군 데이터셋을 사용해 모델을 훈련시킨다.
• 완성된 점군은 PointNetGPD에 입력되어 그립 후보 생성 및 품질 평가에 사용된다.
• 충돌이 없는 경로를 생성하기 위해 MoveIt! Task Constructor를 사용하여 운동 계획을 수행한다.
• 캔디널(물체 정렬) 및 임의(카메라 정렬) 두 가지 훈련 모드를 사용하며, 후자는 정밀한 6자리 물체 자세 추정이 필요 없이 실제 세계에 구현 가능하게 한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 형상 보완 모델은 희소하고 노이즈가 많은 부분 점군만을 사용하여 실제 로봇 시스템에서 그립 성공률을 향상시킬 수 있는가?
• RQ2 TransSC의 성능은 RANSAC, 복셀 기반, 거울 보완과 같은 기존의 형상 보완 방법과 비교해 그립 평가 과업에서 어떻게 다른가?
• RQ3 형상 보완은 시야 제한과 물체 가림으로 인한 그립 실패를 어느 정도 감소시키는가?
• RQ4 임의 자세 훈련 모드는 정확한 6자리 물체 자세 추정이 필요 없이 효과적인 실제 세계 구현을 가능하게 하는가?
• RQ5 형상 보완을 그립 평가 파이프라인에 통합하면 더 강건하고 일반화 능력이 뛰어난 그립 결과를 도출할 수 있는가?

주요 결과

• 캔디널 자세 입력을 사용한 TransSC는 시뮬레이션에서 RANSAC 기반 및 복셀 기반 방법보다 높은 그립 성공률을 기록했다.
• 임의 자세 버전의 TransSC는 실제 로봇 실험에서 평균 83.33%의 그립 성공률을 기록하여 PointNetGPD 단독 사용 시 71.67%보다 뚜렷이 향상시켰다.
• 전동 드릴의 경우 TransSC 적용으로 성공률이 40%에서 50%로 상승하여 미끄럽거나 복잡한 형상의 물체를 더 잘 다룰 수 있음을 보여주었다.
• TransSC의 평균 그립 자세 오차는 다른 방법보다 뚜렷이 낮아 기하학적 정확도 향상을 입증했다.
• 더 완전한 표면 기하학을 제공함으로써 그립 후보가 물체에 침습하는 것을 줄였고, 악화된 점군 표현으로 인한 실패를 감소시켰다.
• 실제 세계의 노이즈를 포함한 비합성 데이터셋은 일반화 능력을 향상시켜 물리적 로봇 실험에서 더 뛰어난 성능을 이끌어냈다.