[논문 리뷰] Google Scanned Objects: A High-Quality Dataset of 3D Scanned Household Items

Laura Lee Downs, Anthony Francis외 6명|arXiv (Cornell University)|2022. 04. 25.

3D Shape Modeling and Analysis인용 수 13

한 줄 요약

이 논문은 고유한 스테레오 비전 및 구조광선 스캐닝 파이프라인을 사용해 촬영한 1,000개 이상의 3D 스캔 가정용 물품을 포함하는 고품질, 오픈소스 데이터셋인 Google Scanned Objects(GSO)를 소개한다. 이 데이터셋은 Ignition Gazebo 및 Bullet과 같은 시뮬레이션 플랫폼에서 사용하기 위해 사전 처리되었으며, 로봇공학 및 컴퓨터 비전 연구를 위한 현실적인 물리적 및 시각적 시뮬레이션을 가능하게 하였다. 이는 시각, 주행, 조작 분야에서 10개의 프로젝트에 영향을 미친 바 있다.

ABSTRACT

Interactive 3D simulations have enabled breakthroughs in robotics and computer vision, but simulating the broad diversity of environments needed for deep learning requires large corpora of photo-realistic 3D object models. To address this need, we present Google Scanned Objects, an open-source collection of over one thousand 3D-scanned household items released under a Creative Commons license; these models are preprocessed for use in Ignition Gazebo and the Bullet simulation platforms, but are easily adaptable to other simulators. We describe our object scanning and curation pipeline, then provide statistics about the contents of the dataset and its usage. We hope that the diversity, quality, and flexibility of Google Scanned Objects will lead to advances in interactive simulation, synthetic perception, and robotic learning.

연구 동기 및 목표

• 상호작용 로봇 시뮬레이션에서 딥러닝 시스템을 훈련시키기 위한 다양한 고해상도 3D 물체 모델의 부족을 해결하기 위해.
• 정확한 기하학적 구조와 사진처럼 사실적인 텍스처를 갖춘 실제 가정용 물체의 확장 가능한, 총괄된 데이터셋을 제공하기 위해.
• 물리적으로 타당하고 시각적으로 현실적인 3D 모델을 제공함으로써 시뮬레이션에서 실제 세계로의 전이 학습을 가능하게 하기 위해.
• 표준화되고 접근 가능한 데이터셋을 통해 로봇 조작, 주행 및 합성 인식 분야의 연구를 지원하기 위해.
• 시뮬레이션 용도로 고품질 3D 스캔 및 총괄을 위한 재사용 가능한 파이프라인을 구축하기 위해.

제안 방법

• 고해상도 3D 메시를 촬영하기 위해 이중 머신 비전 카메라, HDR 색상 촬영을 위한 DSLR, 구조광선 패턴을 위한 프ro젝터를 사용한 고유의 스캔 장비를 활용하였다.
• 캘리브레이션 기반 파이프라인을 통해 서브픽셀 수준의 카메라 좌표를 정렬하고 스테레오 쌍을 융합하여 일관된 원시 메시 재구성을 수행하였다.
• 품질 보증 및 총괄 프로세스를 구현하여 스캔를 필터링하고 정제함으로써, 물체가 손상되지 않은 고해상도 모델을 확보하였다.
• 모든 모델을 Ignition Gazebo 및 Bullet 시뮬레이션 플랫폼에서의 네이티브 호환성을 확보하기 위해 SDF 형식으로 사전 처리하였다.
• 모든 시뮬레이터 간 호환성을 유지하면서도 시각적 정확도를 유지하기 위해 확산 텍스처 매핑을 적용하였다.
• 연구 워크플로우에 쉽게 통합할 수 있도록 Ignition Fuel에 데이터셋을 호스팅하였다.

Figure 1: Custom 3D scanning hardware enabled fast capture of raw meshes, which our scanning pipeline aligned using a calibration process followed by QA curation of high-quality models for inclusion in the dataset.

실험 결과

연구 질문

• RQ1 확장 가능한 고품질 3D 스캔 파이프라인이 로봇 시뮬레이션에 적합한 현실적인 가정용 물체의 대규모 코퍼스를 생성할 수 있는가?
• RQ2 고해상도 3D 스캔이 로봇 학습 작업에서 시뮬레이션 환경의 현실성과 성능에 어느 정도 기여하는가?
• RQ3 GSO 데이터셋이 합성 모델이나 수작업으로 제작된 모델에 비해 시뮬레이션에서 실제 세계로의 전이 학습에 얼마나 효과적인가?
• RQ4 다양하고 실제 세계의 물체 기하학적 구조와 텍스처가 시뮬레이션에서 딥러닝 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 정제된 오픈소스 스캔 데이터셋이 합성 인식, 주행 및 로봇 조작 분야의 연구를 가속화할 수 있는가?

주요 결과

• GSO 데이터셋은 기하학적 정확도와 사진처럼 사실적인 텍스처를 갖춘 1,030개의 고품질 3D 스캔 가정용 물체를 포함하고 있으며, 물리적 시뮬레이션에 적합하다.
• 스캔 파이프라인이 높은 기하학적 정밀도를 달성하여 매끄러운 표면과 정확한 윤곽선을 구현하였으며, 일반적인 RGB-D 스캔 결과보다 뛰어난 성능을 보였다.
• 이 데이터셋은 컴퓨터 시각, 로봇공학, 그래픽스 분야에서 10개의 다른 연구 프로젝트에 통합되었으며, iGibson, NViSII, IBRNet 등이 포함되어 있다.
• GSO를 사용한 프로젝트들은 특히 잡기 및 주행 작업에서 시각적 현실감 향상과 성능 향상을 보고하였다.
• 고품질의 실제 세계 기하학적 구조 덕분에, 다양한 가시성 기반 스테레오 및 키포인트 변형 모델의 검증이 가능했다.
• 청소된 반사성 및 투명 재질을 포함한 내부 확장은 RetinaGAN 및 RL-CycleGAN과 같은 생성 모델의 성능 향상에 기여하였다.

(a) Scanning Pipeline