[논문 리뷰] Real-world Multi-object, Multi-grasp Detection

Fu-Jen Chu, Ruinian Xu외 1명|arXiv (Cornell University)|2018. 02. 01.

Robot Manipulation and Learning인용 수 13

한 줄 요약

이 논문은 RGB-D 이미지에서 단일 또는 다중 물체에 대해 실시간으로 단일 스포트(single-shot)로 다수의 그립 후보를 탐지하기 위한 딥러닝 기반 방법을 제안한다. 그립 방향 예측을 null(그립 없음) 클래스를 포함한 분류 문제로 재정의함으로써 모델의 견고성과 정확도를 향상시켰으며, Cornell 데이터셋에서 96.1%의 물체별 정확도를 달성하고 7-도르기 회전 자유도(7-DOF) 로봇을 활용한 실제 실험에서 89.0%의 그립 성공률을 기록하였으며, 인fer런스당 0.25초 이내로 구현하였다.

ABSTRACT

A deep learning architecture is proposed to predict graspable locations for robotic manipulation. It considers situations where no, one, or multiple object(s) are seen. By defining the learning problem to be classification with null hypothesis competition instead of regression, the deep neural network with RGB-D image input predicts multiple grasp candidates for a single object or multiple objects, in a single shot. The method outperforms state-of-the-art approaches on the Cornell dataset with 96.0% and 96.1% accuracy on image-wise and object- wise splits, respectively. Evaluation on a multi-object dataset illustrates the generalization capability of the architecture. Grasping experiments achieve 96.0% grasp localization and 88.0% grasping success rates on a test set of household objects. The real-time process takes less than .25 s from image to plan.

연구 동기 및 목표

• 혼잡한 실제 환경에서 단일 또는 다중 물체에 대해 다수의 타당한 그립 구성(configuration)을 탐지하는 문제를 해결하기 위해.
• 그립 방향 예측을 회귀 기반에서 분류 기반으로 전환하고, 모호한 영역을 거부하기 위해 전용 '그립 없음' 클래스를 포함시켜 그립 탐지의 견고성을 향상시키기 위해.
• 빠른 추론(<0.25초)을 보장하면서도 다양한 가정용 물체에서 높은 정확도를 유지함으로써 실시간 로봇 조작을 가능하게 하기 위해.
• 새로가져온 다중 물체, 다중 그립 데이터셋에 대해 일반화 성능을 평가하기 위해.

제안 방법

• 모델은 RGB-D 입력을 사용하여 특징을 추출하기 위해 ResNet-50 백본을 사용하며, 기존의 회귀 기반 예측을 분류 기반 예측으로 대체한다.
• 그립 영역 제안 네트워크가 잠재적인 그립 영역을 식별한 후, 이산적인 그립 각도와 '그립 없음' 클래스를 예측하는 분류 헤드가 이를 이어받는다. 이는 임의의 양성 결과를 억제하는 데 기여한다.
• 그립 제안과 분류 브랜치를 종단 간(end-to-end)으로 통합하여 다중 그립 후보의 정밀한 국소화를 가능하게 하고, 공동 최적화를 가능하게 한다.
• 네트워크는 단일 순방향 전파에서 바운딩 박스 파라미터와 그립 방향 클래스 예측을 동시에 수행하는 다중 작업 학습 설정을 사용한다.
• 깊이 정보는 하나의 색상 채널을 깊이로 교체함으로써 RGB 입력과 융합되며, 모델 크기를 유지하면서 성능 향상을 이룬다.
• 시스템은 신뢰도 점수를 제공하는 다수의 그립 후보를 출력하여 후속 계획 단계에서 최적의 그립을 선택할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 단일 추론 단계에서 단일 또는 다중 물체에 대해 다수의 그립 후보를 효과적으로 탐지할 수 있는가?
• RQ2 그립 방향 예측을 null 클래스를 포함한 분류 문제로 재정의할 경우, 기존의 회귀 기반 방법에 비해 정확도와 견고성이 어떻게 향상되는가?
• RQ3 표준 Cornell 벤치마크를 초월하여 실제 다중 물체, 다중 그립 시나리오에서 모델의 성능은 어떠한가?
• RQ4 그립 제안과 분류의 통합이 국소화 정밀도 향상과 임의의 양성 결과 감소에 어떻게 기여하는가?
• RQ5 7-DOF 조작자에서 시스템의 실시간 추론 속도와 물리적 그립 성공률은 얼마인가?

주요 결과

• Cornell 데이터셋에서 이미지별 96.0%, 물체별 96.1%의 정확도를 기록하여 최신 기술을 초월한다.
• 최근 수집한 다중 물체, 다중 그립 데이터셋에서 1.0장당 1.0개의 임의의 양성 결과와 낮은 그립 누락 비율을 유지하며 뛰어난 성능을 보였다.
• 7-DOF 로봇을 활용한 물리적 그립 실험에서 89.0%의 성공률을 기록하였으며, 추론 및 계획 과정이 0.25초 이내로 완료되었다.
• 제거 실험(ablation study) 결과, 그립 제안과 방향 분류의 추가가 성능 향상에 크게 기여함을 확인하였으며, 전체 모델(f)는 물체별 정확도 96.1%를 달성하였다.
• RGB 전용 버전의 모델 역시 양호한 성능을 보였으며(물체별 88.1%), 깊이 정보가 높은 성능에 유리하지만 반드시 필요하지는 않음을 시사한다.
• 시스템은 혼잡한 실제 환경과 다양한 가정용 물체에 대해 강력한 일반화 성능을 보였으며, 예측된 그립 후보를 물리적 실행에 사용할 경우 성능 저하가 8.3%에 그쳤다.