[논문 리뷰] Domestic waste detection and grasping points for robotic picking up

Víctor de Gea, Santiago Timoteo Puente Méndez외 1명|arXiv (Cornell University)|2021. 05. 14.

Advanced Neural Network Applications참고 문헌 4인용 수 6

한 줄 요약

이 논문은 RGB-D 데이터를 기반으로 한 딥러닝 기반 시스템을 제안하며, 실내 및 실외 환경에서 주방 쓰레기를 탐지하고, 이중 팔지 그립퍼를 갖춘 로봇 팔을 위한 최적의 3차원 그립핑 포인트를 계산한다. 이 방법은 다섯 가지 쓰레기 유형으로 구성된 맞춤형 데이터셋을 통해 쓰레기 분류 및 그립핑 정확도를 향상시켜 실제 환경에서의 재활용 자동화를 향상시킨다.

ABSTRACT

This paper presents an AI system applied to location and robotic grasping. Experimental setup is based on a parameter study to train a deep-learning network based on Mask-RCNN to perform waste location in indoor and outdoor environment, using five different classes and generating a new waste dataset. Initially the AI system obtain the RGBD data of the environment, followed by the detection of objects using the neural network. Later, the 3D object shape is computed using the network result and the depth channel. Finally, the shape is used to compute grasping for a robot arm with a two-finger gripper. The objective is to classify the waste in groups to improve a recycling strategy.

연구 동기 및 목표

• 다양한 실내 및 실외 환경에서 주방 쓰레기를 탐지할 수 있는 AI 시스템을 개발하는 것.
• 탐지된 쓰레기를 타겟팅된 재활용 전략을 지원하기 위해 다섯 가지 별도의 카테고리로 분류하는 것.
• 심도 정보와 인스턴스 세그멘테이션을 활용해 두 개의 손가락을 가진 로봇 팔을 위한 정확한 3차원 그립핑 포인트를 계산하는 것.
• 학습 및 기준 평가를 위한 새로운 공개 데이터셋을 구축하는 것.
• 비정형 환경에서 이중 팔지 그립퍼를 사용해 쓰레기를 견고하게 집을 수 있도록 하는 것.

제안 방법

• 심도 카메라와 RGB 센서를 사용해 실제 환경에서 RGB-D 데이터를 확보한다.
• 다섯 가지 주방 쓰레기 유형을 탐지하고 인스턴스 세그멘테이션하기 위해 Mask R-CNN 기반 딥러닝 모델을 훈련시킨다.
• 탐지된 인스턴스를 심도 데이터와 결합해 3차원 공간에서 3차원 물체 형태를 재구성한다.
• 3차원 형태 정보를 처리해 이중 팔지 로봇 그립퍼를 위한 최적의 그립핑 포인트를 계산한다.
• 탐지 및 세그멘테이션 성능 향상을 위해 네트워크 하이퍼파라미터 최적화를 위한 파라미터 스터디를 수행한다.
• 실제 환경에서 평가를 수행하며, 실내 및 실외 조건을 모두 포함한다.

실험 결과

연구 질문

• RQ1 Mask R-CNN 기반 모델은 비정형 실내 및 실외 환경에서 주방 쓰레기를 얼마나 정확하게 탐지하고 세그멘테이션할 수 있는가?
• RQ2 다양한 네트워크 하이퍼파라미터는 탐지 및 그립핑 포인트 계산 성능에 어떤 영향을 미치는가?
• RQ3 RGB-D 데이터에서의 3차원 형태 재구성은 다양한 주방 쓰레기 유형에 대한 신뢰할 수 있는 로봇 그립핑을 가능하게 하는가?
• RQ4 제안된 시스템은 재활용 목적을 위해 쓰레기를 다섯 가지 별도의 카테고리로 분류하는 데 얼마나 효과적인가?
• RQ5 맞춤형 데이터셋은 실제 로봇 쓰레기 집게 작업에서 일반화 및 내성 강도를 얼마나 향상시키는가?

주요 결과

• 제안된 시스템은 맞춤형 RGB-D 데이터셋을 사용해 실내 및 실외 환경에서 다섯 가지 주방 쓰레기 유형을 성공적으로 탐지하고 세그멘테이션한다.
• 심도 데이터와 인스턴스 세그멘테이션의 통합은 그립핑 포인트 계산을 위한 정확한 3차원 형태 재구성 가능하게 한다.
• 다양한 조명 및 환경 조건에서도 견고한 성능을 보이며 실제 적용 가능성을 입증한다.
• 파라미터 스터디를 통해 탐지 mAP 및 그립핑 성공률 향상을 위한 최적의 네트워크 구성이 규명되었다.
• 계산된 3차원 그립핑 포인트를 기반으로 이중 팔지 그립퍼를 장착한 로봇 팔이 다양한 쓰레기 유형을 신뢰성 있게 집을 수 있다.
• 연구 기간 동안 구축된 데이터셋은 공개 가능하며 향후 로봇 쓰레기 처리 분야의 연구를 지원한다.