[논문 리뷰] Dataset of Industrial Metal Objects

Peter De Roovere, Steven Moonen외 2명|arXiv (Cornell University)|2022. 08. 08.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 대칭적이고 무늬가 없으며 매우 반사성이 높은 산업용 금속 물체에 대해 정확한 6자리 자세(annotation)가 기재된 실물 및 합성 다중 시점 RGB 이미지 31,000여 장 이상, 553,800여 장의 합성 이미지를 포함하는 DIMO(Dataset of Industrial Metal Objects) 데이터셋을 소개한다. 이 데이터셋은 실물 로봇 다중 시점 촬영과 제어된 조명, 재질, 장면 구성 조건을 갖춘 물리기반 렌더링을 통해 생성되었으며, 산업용 로봇에서 6자리 물체 자세 추정을 위한 강건한 시뮬레이션에서 실제로의 전이를 가능하게 한다.

ABSTRACT

We present a diverse dataset of industrial metal objects. These objects are symmetric, textureless and highly reflective, leading to challenging conditions not captured in existing datasets. Our dataset contains both real-world and synthetic multi-view RGB images with 6D object pose labels. Real-world data is obtained by recording multi-view images of scenes with varying object shapes, materials, carriers, compositions and lighting conditions. This results in over 30,000 images, accurately labelled using a new public tool. Synthetic data is obtained by carefully simulating real-world conditions and varying them in a controlled and realistic way. This leads to over 500,000 synthetic images. The close correspondence between synthetic and real-world data, and controlled variations, will facilitate sim-to-real research. Our dataset's size and challenging nature will facilitate research on various computer vision tasks involving reflective materials. The dataset and accompanying resources are made available on the project website at https://pderoovere.github.io/dimo.

연구 동기 및 목표

• 대칭적이고 무늬가 없으며 매우 반사성이 높은 산업용 금속 물체에 대한 6자리 자세 추정을 위한 다양한 실재성 있는 데이터셋의 부족을 해결하기 위해.
• 합성 데이터와 실물 데이터 간의 밀도 있는 유사성을 확보하여 시뮬레이션에서 실제로의 전이 격차를 줄이기 위해.
• 로봇 조작을 위한 반사성 물체 인식 연구를 지원하는 대규모이고 정확하게 애너테이션 처리된 데이터셋을 제공하기 위해.
• 합성 데이터에서 환경적 요소(조명, 구성, 재질)의 제어된 변동을 통해 모델의 일반화 능력을 향상시키기 위해.

제안 방법

• 실물 데이터는 고정밀 산업용 로봇(Fanuc M20ia, 재현성 0.1mm)에 장착된 다수의 캘리브레이션된 카메라(RGB, 회색조, LiDAR)를 사용해 촬영하였다.
• 각 장면에서 13개의 서로 다른 카메라 시점에서 다중 시점 이미지를 기록하였으며, 물체의 형상, 재질, 실린더, 조명 조건 등 장면 구성 요소를 다양하게 조절하였다.
• ChArUco 캘리브레이션과 수동 눈-손(calibration)을 활용하여 실물 이미지의 6자리 물체 자세를 정확하게 애너테이션 처리하기 위해 새로운 오픈소스 레이블링 툴을 개발하였다.
• 실제 환경 조건을 모방하는 물리기반 렌더링 파이프라인을 사용해 합성 데이터를 생성하였으며, 현실적인 반사 효과와 긁힘과 같은 정형화된 표면 결함까지 구현하였다.
• 조명(라이트맵), 실린더, 물체 구성(이종/동종), 카메라 시점에 대한 제어된 변동을 적용하여 각 실물 장면당 71개의 합성 시점 이미지를 생성하였다.
• 데이터셋은 확장된 BOP 형식을 따르며, 물체 CAD 모델(PLY), 카메라 내부/외부 파rameter, 6자리 자세(카메라 기준 및 글로벌 월드 기준), 데이터 생성 조건에 대한 메타데이터를 포함한다.

실험 결과

연구 질문

• RQ1 반사성이 높은 산업용 금속 물체에 대한 대규모이고 다양한 데이터셋이 실제 로봇 응용에서 6자리 자세 추정 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ2 실제 재질과 조명 시뮬레이션을 갖춘 제어된 합성 데이터 생성 방식이 시뮬레이션에서 실제로의 전이 격차를 어느 정도 줄일 수 있는가?
• RQ3 장면 구성, 조명, 카메라 시점의 변화가 고르지 않은 반사성 물체의 시각적 외관과 자세 추정 성능에 어떤 영향을 미치는가?
• RQ4 일관된 레이블링과 메타데이터를 갖춘 실물 및 합성 데이터를 통합한 단일 데이터셋이 여러 컴퓨터 비전 작업에 대한 강건한 훈련 및 평가를 지원할 수 있는가?

주요 결과

• RGB, 회색조, LiDAR 센서를 포함한 다양한 카메라 유형을 사용해 13개의 시점에서 각 장면당 약 31,200장의 실물 이미지가 촬영되었다.
• 조명, 물체 구성, 카메라 시점에 대한 제어된 변동을 적용하여 553,800여 장 이상의 합성 이미지가 생성되었으며, 실물 데이터와의 밀도 높은 유사성을 확보하였다.
• 카메라 기준 및 글로벌 월드 기준의 6자리 물체 자세 애너테이션을 포함하여, 다양한 시점에서의 일관된 평가가 가능하다.
• scene_info.json에 포함된 메타데이터를 통해 조명, 실린더, 구성 유형, 시점 기반으로 선택적 서브셋 생성이 가능하여 세밀한 분석을 지원한다.
• 공개된 프로젝트 웹사이트, 데이터 로딩 유틸리티, 재현성 및 커뮤니티 활용을 위한 새로운 오픈소스 레이블링 툴과 함께 공개되었다.