[논문 리뷰] A Multi-task Convolutional Neural Network for Autonomous Robotic Grasping in Object Stacking Scenes

Hanbo Zhang, Xuguang Lan외 4명|arXiv (Cornell University)|2018. 09. 19.

Robot Manipulation and Learning참고 문헌 22인용 수 6

한 줄 요약

이 논문은 RGB 및 깊이 입력을 사용하는 Baxter 로봇을 활용하여, 복잡한 물체 적재 장면에서 자율적인 로봇 집기 작업을 위한 인지, 추론, 집기 실행을 통합한 다중 작업 컨volution 신경망을 제안한다. 객체와 집기 위치를 동시에 검출하고, 시각적 조작 관계를 추론하며, 집기 순서를 계획함으로써, 혼잡한, 익숙한, 그리고 복잡한 적재 장면에서 각각 90.6%, 71.9%, 59.4%의 성공률을 달성한다.

ABSTRACT

Autonomous robotic grasping plays an important role in intelligent robotics. However, how to help the robot grasp specific objects in object stacking scenes is still an open problem, because there are two main challenges for autonomous robots: (1)it is a comprehensive task to know what and how to grasp; (2)it is hard to deal with the situations in which the target is hidden or covered by other objects. In this paper, we propose a multi-task convolutional neural network for autonomous robotic grasping, which can help the robot find the target, make the plan for grasping and finally grasp the target step by step in object stacking scenes. We integrate vision-based robotic grasping detection and visual manipulation relationship reasoning in one single deep network and build the autonomous robotic grasping system. Experimental results demonstrate that with our model, Baxter robot can autonomously grasp the target with a success rate of 90.6%, 71.9% and 59.4% in object cluttered scenes, familiar stacking scenes and complex stacking scenes respectively.

연구 동기 및 목표

• 대상이 숨겨지거나 가림을 입은 복잡하고 혼잡하며 가림이 있는 물체 적재 장면에서 자율적인 로봇 집기 작업을 가능하게 하기 위해.
• 순차적인 집기 과정에서 다른 물체에 손상을 주지 않도록 올바른 집기 순서를 추론하는 도전 과제를 해결하기 위해.
• 시각 기반의 물체 검출, 집기 후보 예측, 시각적 조작 관계 추론을 하나의 딥 신경망에 통합하기 위해.
• RGB 이미지 입력에서 로봇 집기 제어에 이르는 엔드 투 엔드 실행을 깊이 정보를 활용해 좌표 변환을 수행함으로써 가능하게 하기 위해.
• 통합된 인지와 추론을 통해 기존 방법보다 다중 물체, 가림이 있는, 그리고 복잡한 적재 환경에서 뛰어난 성능을 내기 위해.

제안 방법

• 세 개의 병렬 헤드(인지(물체 검출 및 집기 후보 예측), 추론(시각적 조작 관계 예측), 집기(집기 실행 계획))를 갖는 다중 작업 CNN 아키텍처를 설계하였다.
• 인지 헤드는 국소화된 영역 내에서 물체와 그들의 집기 후보를 검출하여 전역 이미지 수준의 집기 검출을 피한다.
• 추론 헤드는 물체 간의 시각적 조작 관계(예: '위에', '아래에')를 예측하여 올바른 집기 순서를 유추한다.
• RGB 입력을 추론에 사용하고 깊이 데이터를 활용해 접근 벡터와 좌표 변환을 계산함으로써 집기 실행을 구현한다.
• 손실 함수를 검출, 관계 예측, 집기 품질 최적화를 위해 조정하여 VMRD 데이터셋에서 엔드 투 엔드로 학습한다.
• 비교를 위해 FCGN과 VMRN의 캐스케이드 기반 베이스라인을 사용하였으며, 공동 학습의 우수성을 입증하였다.

실험 결과

연구 질문

• RQ1 하나의 딥 신경망이 복잡한 장면에서 자율적인 집기 작업을 위해 물체 검출, 집기 후보 예측, 시각적 조작 추론을 효과적으로 통합할 수 있는가?
• RQ2 인지와 추론의 공동 학습이 가림되거나 혼잡한 적재 장면에서의 집기 성공률을 어떻게 향상시키는가?
• RQ3 모델이 물체 혼잡함, 익숙한 적재, 복잡한 적재와 같은 다양한 장면 복잡도에 대해 얼마나 일반화되는가?
• RQ4 RGB를 인지와 추론에 사용하면서도 깊이 정보를 통합해 집기 실행을 수행할 경우 그 영향은 어떠한가?
• RQ5 실제 로봇 실험에서 제안된 다중 작업 네트워크가 캐스케이드 기반 베이스라인을 어떻게 능가하는가?

주요 결과

• 제안된 모델은 물체가 혼잡한 장면에서 90.6%의 성공률을 달성하였으며, 베이스라인의 43.8%보다 뚜렷이 높았다.
• 익숙한 적재 장면에서는 모델이 71.9%의 성공률을 기록하였고, 베이스라인의 28.1%보다 높았다.
• 6~9개의 물체가 포함된 복잡한 적재 장면에서는 모델이 59.4%의 성공률을 기록하였으며, 베이스라인의 6.3%를 초월하였다.
• 실패 분석 결과, 검출 오류는 주로 대상 검출에 대한 신뢰도가 낮을 때 발생하며(예: 안경), 물체가 겹칠 경우 집기 혼동, 그리고 과도하게 큰 집기 예측이 원인이 되었다.
• 대상이 보이지 않는 경우에도, 조작 관계를 추론하고 보이는 물체를 순서대로 이동함으로써 모델은 정확한 집기 순서를 성공적으로 유추하였다.
• 인지, 추론, 집기 계획을 하나의 네트워크에 통합함으로써, 복잡하고 가림이 있는 환경에서 견고한 순차적 집기 작업이 가능해졌다.