[논문 리뷰] A Dataset for Improved RGBD-based Object Detection and Pose Estimation for Warehouse Pick-and-Place

Colin Rennie, Rahul Shome외 2명|arXiv (Cornell University)|2015. 09. 03.

Robotics and Sensor-Based Localization참고 문헌 20인용 수 7

한 줄 요약

이 논문은 아마존 택배 챌린지(Amazon Picking Challenge)의 24개 물체에 대해 정확한 6DOF 기준 자세 정보를 포함한, 10,000장 이상의 등록된 색상 및 깊이 영상이 포함된 대규모 공개 RGBD 데이터셋을 소개한다. 창고에서의 옮기기 및 놓기 작업을 위해 설계되었으며, 혼잡함, 가림, 반사 표면, 저조도 등의 도전적인 조건을 촬영하여, 시점, 노이즈, 물체 구성의 통제된 변형을 통해 RGBD 기반 물체 검출 및 자세 추정 알고리즘의 강건한 평가 및 향상이 가능하도록 한다.

ABSTRACT

An important logistics application of robotics involves manipulators that pick-and-place objects placed in warehouse shelves. A critical aspect of this task corre- sponds to detecting the pose of a known object in the shelf using visual data. Solving this problem can be assisted by the use of an RGB-D sensor, which also provides depth information beyond visual data. Nevertheless, it remains a challenging problem since multiple issues need to be addressed, such as low illumination inside shelves, clutter, texture-less and reflective objects as well as the limitations of depth sensors. This paper provides a new rich data set for advancing the state-of-the-art in RGBD- based 3D object pose estimation, which is focused on the challenges that arise when solving warehouse pick- and-place tasks. The publicly available data set includes thousands of images and corresponding ground truth data for the objects used during the first Amazon Picking Challenge at different poses and clutter conditions. Each image is accompanied with ground truth information to assist in the evaluation of algorithms for object detection. To show the utility of the data set, a recent algorithm for RGBD-based pose estimation is evaluated in this paper. Based on the measured performance of the algorithm on the data set, various modifications and improvements are applied to increase the accuracy of detection. These steps can be easily applied to a variety of different methodologies for object pose detection and improve performance in the domain of warehouse pick-and-place.

연구 동기 및 목표

• 창고 환경에서 RGBD 기반 자세 추정을 평가하기 위한 현실적이고 대규모인 데이터셋의 부족을 해결한다.
• 혼잡함, 가림, 반사성 및 무문자 물체, 저조도 조건과 같은 실제 도전 과제를 촬영한 벤치마크 데이터셋을 제공한다.
• 시점, 노이즈, 물체 구성의 통제된 변형 조건 하에서 자세 추정 알고리즘의 평가 및 향상이 가능하도록 한다.
• 반구조적이고 제한된 창고 선반 환경에서의 로봇 옮기기 및 놓기 작업을 위한 강건한 인식 시스템 개발을 지원한다.
• 다양한 카메라 시점과 반복 샘플이 포함되어 있어 노이즈 분석이 가능한 풍부한 주석 정보를 제공함으로써, 전통적 방법과 학습 기반 방법 모두의 평가를 촉진한다.

제안 방법

• 선반 상자에 대해 왼쪽, 중앙, 오른쪽의 세 가지 다른 카메라 시점에서 10,000장 이상의 등록된 RGB 및 깊이 영상을 수집한다.
• 12개의 선반 상자에 걸쳐 아마존 택배 챌린지의 24개 물체에 대해 6DOF 기준 자세 정보를 기록하며, 공간적 및 시간적 완전한 변형을 구현한다.
• 목표 물체와 함께 추가 물체를 상자에 배치하여 통제된 혼잡함을 도입함으로써 실제 창고 환경을 모의한다.
• 각 구성에 대해 4개의 반복 샘플을 확보하여 Kinect v1 센서의 노이즈를 모델링하고, 시간적 변동 조건 하에서의 강건성 분석이 가능하도록 한다.
• 모든 물체-기준 변환 정보를 기준 자세 파일에 저장하여 다중 물체 자세 추정 및 3D 재구성 작업으로의 간편한 확장이 가능하도록 한다.
• 기존 알고리즘(예: LINEMOD 프레임워크)과의 원활한 통합을 지원하기 위해 데이터셋 통합을 위한 오픈소스 소프트웨어 도구를 제공한다.

실험 결과

연구 질문

• RQ1 일반적인 RGBD 기반 자세 추정 알고리즘이 실제 창고 환경 조건(예: 가림, 혼잡함, 센서 노이즈 포함)에서 어떻게 성능을 발휘하는가?
• RQ2 반사성, 무문자, 투명한 물체와 같은 특정 유형의 물체는 창고 내 선반 환경에서 RGBD 기반 자세 추정에 있어 어떤 정도의 도전 과제를 야기하는가?
• RQ3 시점 변화와 부분적 가림이 자세 추정 알고리즘의 정확도에 어느 정도의 영향을 미치는가?
• RQ4 통제된 풍부한 데이터셋을 통해 자세 추정 알고리즘의 개선(예: 자세 가설 집계 또는 노이즈 필터링)이 체계적으로 유도되고 검증될 수 있는가?
• RQ5 이 데이터셋은 다중 물체 자세 추정 및 3D 재구성 기법의 평가 및 개발에 얼마나 효과적인가?

주요 결과

• LINEMOD 기반 알고리즘은 테이블탑 설정에서는 효과적이지만, 창고 환경에서는 반사성 및 무문자 물체에서 심각한 성능 저하를 보인다.
• 데이터셋은 반사성 및 투명 물체가 일관되게 잘못 검출되거나 잘못 위치가 지정됨을 드러내며, 기존 RGBD 파이프라인의 핵심 한계를 보여준다.
• 선반 구조로 인한 시점 변화와 부분적 가림은 자세 추정 정확도를 크게 떨어뜨리며, 특히 물체가 옆면이나 가장자리에서 촬영될 경우 더욱 심각하다.
• 동일 조건 하에서 반복 촬영한 결과, Kinect v1의 센서 노이즈로 인해 작은 물체나 저대비 물체의 자세 추정 결과에 상당한 변동성이 발생함을 확인하였다.
• 이 데이터셋은 실패 원인의 규명을 가능하게 하며, 노이즈 필터링 및 자세 집계와 같은 타겟된 알고리즘 개선을 지원함으로써 실제 환경에서의 강건성을 향상시킨다.
• 다중 물체 구성의 포함으로 3D 재구성 및 동시 자세 추정의 직접 평가가 가능하며, 이는 단일 물체 검출을 넘어서 데이터셋의 유용성을 입증한다.