[논문 리뷰] Robotic Waste Sorter with Agile Manipulation and Quickly Trainable Detector

Takuya Kiyokawa, Hiroki Katayama외 3명|arXiv (Cornell University)|2021. 04. 02.

Robotics and Sensor-Based Localization참고 문헌 99인용 수 30

한 줄 요약

이 논문은 그립 없는 푸시-드롭 조작 방식과 빠르게 학습할 수 있는 딥러닝 검출기의 조합을 통해 로봇 쓰레기 분류 시스템을 제안한다. 로봇 기반 데이터셋 수집 시스템과 도메인 적응 기법(예: 히스토GRAM 매칭, 배경 합성, 물체 크기 조정)을 활용하여 높은 검출 정확도(79% F-score)와 피킹-릴리즈 방식보다 1.9초 빠른 조작을 달성함으로써 재활용 공장에서 민첩하고 실시간 분류가 가능해졌다.

ABSTRACT

Owing to human labor shortages, the automation of labor-intensive manual waste-sorting is needed. The goal of automating waste-sorting is to replace the human role of robust detection and agile manipulation of waste items with robots. To achieve this, we propose three methods. First, we provide a combined manipulation method using graspless push-and-drop and pick-and-release manipulation. Second, we provide a robotic system that can automatically collect object images to quickly train a deep neural-network model. Third, we provide a method to mitigate the differences in the appearance of target objects from two scenes: one for dataset collection and the other for waste sorting in a recycling factory. If differences exist, the performance of a trained waste detector may decrease. We address differences in illumination and background by applying object scaling, histogram matching with histogram equalization, and background synthesis to the source target-object images. Via experiments in an indoor experimental workplace for waste-sorting, we confirm that the proposed methods enable quick collection of the training image sets for three classes of waste items (i.e., aluminum can, glass bottle, and plastic bottle) and detection with higher performance than the methods that do not consider the differences. We also confirm that the proposed method enables the robot quickly manipulate the objects.

연구 동기 및 목표

• 로봇 기반 기술을 활용해 노동력 부족 문제를 해결하고 쓰레기 분류의 검출 및 조작을 자동화한다.
• 딥러닝 기반 쓰레기 검출기의 학습 데이터 수집 및 주석 처리에 소요되는 시간과 노력을 줄인다.
• 데이터셋 수집 환경과 실제 분류 환경 간의 도메인 차이를 완화시켜 검출의 강인성을 향상시킨다.
• 최소한의 인간 간섭으로 새로운 또는 알려지지 않은 쓰레기 물체에 대해 검출기를 신속하게 재학습시킬 수 있도록 한다.

제안 방법

• 회전하는 스테이션에 장착된 손-눈 로봇 암이 대상 쓰레기 물체의 다중 시점 이미지를 자동으로 촬영한다.
• 증강현실 마커를 사용해 자동으로 바운딩 박스를 감지하고 주석 처리함으로써 수동 입력 없이도 자동 주석 처리를 수행한다.
• 도메인 적응 기법으로는 실제 환경 크기와 일치하도록 물체 크기 조정, 조명 차이를 줄이기 위한 등고도 조정 및 히스토GRAM 매칭, 배경 외관을 일치시키기 위한 배경 합성을 포함한다.
• 빠른 속도를 위해 그립 없는 푸시-드롭 방식을 사용하고 정밀도를 확보하기 위해 피킹-릴리즈 방식을 조합한 통합 조작 전략을 적용하며, 운동 계획을 민첩성 향상을 위해 최적화한다.
• 실제 분류 현장의 이미지를 학습 데이터셋에 통합하여 검출 성능을 추가로 향상시킨다.
• 가공된 합성 데이터셋과 함께 소량의 실제 환경 데이터셋을 사용해 검출기를 미세조정함으로써 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 수동 방법에 비해 로봇 시스템이 쓰레기 검출기의 학습 이미지를 더 효율적으로 자동으로 수집하고 주석 처리할 수 있는가?
• RQ2 학습 환경과 배포 환경 간의 조명 및 배경 차이로 인한 성능 저하를 줄이기 위해 도메인 적응이 얼마나 효과적인가?
• RQ3 그립 없는 푸시-드롭 조작 방식이 전통적인 피킹-릴리즈 방식에 비해 쓰레기 분류의 속도와 성공률 측면에서 뛰어난가?
• RQ4 합성 데이터셋 적응과 실제 환경에서의 미세조정을 조합했을 때 검출 정확도가 얼마나 향상되는가?

주요 결과

• 로봇 기반 데이터셋 수집 시스템은 이미지 수집 및 주석 처리 시간을 12.3초로 단축시켜 이전 방법 대비 99.1% 향상시켰다.
• 제안된 도메인 적응 방법은 검출 F-score를 79%로 끌어올려, 적응 없이 학습된 모델 대비 39% 향상시켰다.
• 푸시-드롭 조작은 물체당 3.3초로 평균 5.2초가 소요되는 피킹-릴리즈 방식보다 1.9초 더 빠르게 완료되었다.
• 도메인 적응을 적용하지 않은 경우 평균 F-score는 46%였지만, 도메인 적응과 실제 환경에서의 미세조정을 병행한 결과 79%로 상승했다.
• 실패 사례의 주요 원인은 물체의 형태, 표면의 부착력, 그림자 등으로, 현재 주석 처리의 강인성에 한계가 있음을 시사한다.
• 실제 환경 시험에서 두 조작 전략 모두 성공률가 61% 이상을 기록하여 실용적 타당성을 확인했다.