[论文解读] A Large Dataset of Object Scans

Sungjoon Choi, Qian-Yi Zhou+2 more|arXiv (Cornell University)|Feb 8, 2016

3D Surveying and Cultural Heritage参考文献 6被引用 116

一句话总结

本文提出一个大型公共领域数据集，包含超过10,000个3D对象扫描，由70名非专业操作员使用消费级移动RGB-D设备采集，以及重建模型和对扫描多样性与重建成功的分析。

ABSTRACT

We have created a dataset of more than ten thousand 3D scans of real objects. To create the dataset, we recruited 70 operators, equipped them with consumer-grade mobile 3D scanning setups, and paid them to scan objects in their environments. The operators scanned objects of their choosing, outside the laboratory and without direct supervision by computer vision professionals. The result is a large and diverse collection of object scans: from shoes, mugs, and toys to grand pianos, construction vehicles, and large outdoor sculptures. We worked with an attorney to ensure that data acquisition did not violate privacy constraints. The acquired data was irrevocably placed in the public domain and is available freely at http://redwood-data.org/3dscan .

研究动机与目标

• 提供一个在不可控、真实世界环境中收集的大规模、多样化3D对象扫描数据集，以反映消费者部署条件。
• 评估非专业、移动扫描数据上对象重建管线的可行性与挑战。
• 发布原始扫描和重建模型，以支持3D重建、建模及相关任务的研究。
• 记录数据收集程序、对象多样性及按类别划分的重建结果，以指导未来的数据集设计。

提出的方法

• 组装了十套轻量级移动扫描设备，整合笔记本电脑、RGB-D摄像头和携带箱用于手持数据采集。
• 使用带有实时颜色预览和基于距离的着色编码的自定义扫描应用，以引导操作者并确保覆盖物体表面。
• 通过校园宣讲招募70名操作员；提供教程和指南；通过记录时间来补偿，以鼓励全面扫描。
• 在IRB批准及隐私考量下，收集由操作员选择的对象视频，并在发布前剔除不充分的扫描。
• 使用将基于ICP的几何对齐与RGB-D光度对齐相结合的混合里程计管线重建3D模型：E(Ti)=EICP(Ti)+λERGBD(Ti)。
• 提供包含原始RGB-D扫描和重建模型子集的数据集；指出重建管线在大物体和手持扫描方面的局限性。

实验结果

研究问题

• RQ1 在现实世界环境中，非专业人士使用消费级移动扫描设备时可以获得的对象扫描的规模和多样性如何？
• RQ2 在消费级、野外环境下的扫描上，重建管线的表现如何，其失败模式是什么？
• RQ3 按类别划分的成功率和从此类扫描中重建3D模型的总体可行性如何？
• RQ4 扫描模式（手持 vs 固定）如何影响数据质量和重建结果？

主要发现

• 该数据集包含超过10,000个专用对象扫描，平均扫描时长77秒，产生超过2300万张RGB-D图像。
• 对象涵盖广泛的类别；车辆约占扫描的13%，椅子/桌子合计约10%，在44个类别中每个类别至少有44次扫描（h-index = 44）。
• 重建管线处理了1,781个序列；因漂移或快速运动丢失了969个，滤除后保留812个，且有398个模型通过定性检查以用于公开发布。
• 在九个对象类别（Chair, Table, Trash container, Bench, Plant, Sign, Bicycle, Motorcycle, Sofa）中，重建管线的总体成功率为22%。
• 有三个位于大物体的重建使用了包含回环关闭和全局优化的高保真管线，超出对大多数数据所使用的标准管线。