[논문 리뷰] A Large Dataset of Object Scans

Sungjoon Choi, Qian-Yi Zhou외 2명|arXiv (Cornell University)|2016. 02. 08.

3D Surveying and Cultural Heritage참고 문헌 6인용 수 116

한 줄 요약

이 논문은 70명의 비전문 운영자가 소비자급 모바일 RGB-D 설정을 사용해 수집한 10,000건이 넘는 3D 물체 스캔의 대규모 공용 도메인 데이터세트와 재구성 모델 및 스캔 다양성 및 재구성 성공 분석을 제공합니다.

ABSTRACT

We have created a dataset of more than ten thousand 3D scans of real objects. To create the dataset, we recruited 70 operators, equipped them with consumer-grade mobile 3D scanning setups, and paid them to scan objects in their environments. The operators scanned objects of their choosing, outside the laboratory and without direct supervision by computer vision professionals. The result is a large and diverse collection of object scans: from shoes, mugs, and toys to grand pianos, construction vehicles, and large outdoor sculptures. We worked with an attorney to ensure that data acquisition did not violate privacy constraints. The acquired data was irrevocably placed in the public domain and is available freely at http://redwood-data.org/3dscan .

연구 동기 및 목표

• uncontrolled, real-world environments에서 수집된 대규모의 다양한 3D 물체 스캔 데이터세트를 제공하여 소비자 배치 조건을 반영한다.
• 비전문가의 모바일 스캐닝 데이터에서 재구성 파이프라인의 실행 가능성과 도전과제를 평가한다.
• 연구를 위한 3D 재구성, 모델링 및 관련 작업을 지원하기 위해 원시 스캔과 재구성 모델을 모두 공개한다.
• 데이터 수집 절차, 물체 다양성 및 범주별 재구성 결과를 문서화하여 향후 데이터세트 설계에 가이드를 제공한다.

제안 방법

• 넷북, RGB-D 카메라 및 휴대 가방을 결합한 10개의 경량 모바일 스캐닝 설정을 구축하여 핸드헬드 데이터 캡처를 수행했다.
• 작업자 가이드를 돕고 물체 표면의 커버리지를 보장하기 위해 라이브 컬러 피드 및 거리 기반 색상 코딩이 적용된 맞춤 스캐닝 애플리케이션을 사용했다.
• 캠퍼스 확산을 통해 70명의 작업자를 모집하고 튜토리얼과 가이드를 제공했으며, 철저한 스캔을 독려하기 위해 녹화 시간으로 보상을 제공했다.
• IRB 승인 및 프라이버시 고려 하에 작업자가 선택한 물체의 비디오를 수집하고, 공개 전에 부적합한 스캔을 선별했다.
• ICP 기반 기하 정렬과 RGB-D 광측정 정렬을 결합한 하이브리드 오도메트리 파이프라인으로 3D 모델을 재구성했다: E(Ti)=EICP(Ti)+λERGBD(Ti).
• 원시 RGB-D 스캔과 재구성 모델의 하위집합을 포함하는 데이터세트를 제공했으며, 대형 물체와 핸드헬드 스캔에 대한 재구성 파이프라인의 한계를 언급했다.

실험 결과

연구 질문

• RQ1 비전문가가 일반 소비자용 모바일 스캐닝 설정을 실제 환경에서 사용할 때 얻을 수 있는 스캔의 규모와 다양성은 어느 정도인가?
• RQ2 소비자급의 야외 스캔에서 재구성 파이프라인은 어떻게 작동하며, 어떤 실패 모드가 나타나는가?
• RQ3 이러한 스캔으로부터 3D 모델을 재구성하는 범주별 성공률과 전반적 실행 가능성은 어떠한가?
• RQ4 스캔 방식(손에 든 방식 vs 고정 방식)이 데이터 품질 및 재구성 결과에 어떤 영향을 미치는가?

주요 결과

• 데이터세트는 10,000건이 넘는 전용 물체 스캔을 포함하고 있으며 평균 스캔 길이는 77초이고, 2300만 개가 넘는 RGB-D 이미지를 생성한다.
• 물체는 다양한 범주에 걸쳐 있으며, 차량은 스캔의 약 13%, 의자/테이블은 합쳐서 약 10%를 차지하며, 각각 44개 이상의 스캔이 있는 44개 범주(h-index = 44)로 나뉜다.
• 재구성 파이프라인으로 1,781개의 시퀀스가 처리되었고, 969개는 드리프트 또는 빠른 움직임으로 손실되었으며, 812개는 필터링 후 보존되었고, 398개의 모델이 공개 릴리스용으로 질적 검사에 합격했다.
• 아홉 개의 물체 범주(Chair, Table, Trash container, Bench, Plant, Sign, Bicycle, Motorcycle, Sofa)에서 재구성 파이프라인의 전체 성공률은 22%에 이른다.
• 세 가지 큰 물체는 루프 닫힘 및 글로벌 최적화를 포함하는 고충실도 파이프라인으로 재구성되었으며, 대량 데이터에 적용된 표준 파이프라인을 넘어선 성능을 보였다.