[论文解读] Capturing, Reconstructing, and Simulating: the UrbanScene3D Dataset

Liqiang Lin, Yilin Liu+4 more|arXiv (Cornell University)|Jul 9, 2021

Remote Sensing and LiDAR Applications被引用 4

一句话总结

UrbanScene3D 引入了一个大规模、多源的都市场景数据集，结合了真实世界的航拍图像与使用 Unreal Engine 和 AirSim 的合成仿真，支持高保真 3D 重建、航拍路径规划基准测试以及自主智能体仿真。该数据集包含超过 128,000 张高分辨率图像、LiDAR 扫描数据以及在 16 个场景中总计 136 km² 范围内的详细实例级标注，支持基于真实值精度与完整度指标的路径规划与 MVS 算法评估。

ABSTRACT

We present UrbanScene3D, a large-scale data platform for research of urban scene perception and reconstruction. UrbanScene3D contains over 128k high-resolution images covering 16 scenes including large-scale real urban regions and synthetic cities with 136 km^2 area in total. The dataset also contains high-precision LiDAR scans and hundreds of image sets with different observation patterns, which provide a comprehensive benchmark to design and evaluate aerial path planning and 3D reconstruction algorithms. In addition, the dataset, which is built on Unreal Engine and Airsim simulator together with the manually annotated unique instance label for each building in the dataset, enables the generation of all kinds of data, e.g., 2D depth maps, 2D/3D bounding boxes, and 3D point cloud/mesh segmentations, etc. The simulator with physical engine and lighting system not only produce variety of data but also enable users to simulate cars or drones in the proposed urban environment for future research.

研究动机与目标

• 为解决当前缺乏综合性的、大规模的都市场景数据集，以整合真实世界与合成数据，支持 3D 感知与重建研究。
• 提供一个基准，用于评估在城市环境中使用高精度 LiDAR 扫描与 MVS 重建结果的航拍路径规划策略。
• 通过可控的光照、天气与物理动力学，实现在多样化城市环境中无人机与汽车的逼真仿真。
• 通过丰富的标注与多模态数据，支持 3D 实例分割、深度估计与新视角合成等数据驱动研究。
• 通过将高保真真实重建与物理上准确的仿真相结合，弥合合成仿真与真实都市场景之间的域差距。

提出的方法

• 利用无人机拍摄的航拍图像，通过多视角立体视觉（MVS）技术生成真实都市区域的详细、纹理化的 3D 网格。
• 使用高精度 LiDAR 扫描作为基准，用于评估重建的准确度与完整度。
• 基于 Unreal Engine 与 AirSim 构建自定义仿真平台，支持基于物理的无人机与汽车仿真，具备逼真的光照与天气控制。
• 对场景中的每个建筑进行手动标注，分配唯一实例 ID，以支持 3D 实例分割与多视角数据生成。
• 实现并评估多种航拍路径规划算法，包括斜距摄影、Smith 等 [37]、Zhou 等 [46] 与 Zhang 等 [44]，以比较能耗效率与重建质量。
• 仿真器生成多种数据类型，如 2D 深度图、2D/3D 框体边界、3D 点云/网格分割，用于下游任务。

实验结果

研究问题

• RQ1 不同的航拍路径规划策略如何影响 3D 城市场景重建的质量与能耗效率？
• RQ2 UrbanScene3D 中的合成仿真在多大程度上可泛化至真实世界的 3D 重建与感知任务？
• RQ3 当以高精度 LiDAR 真实值为基准时，MVS 流程的重建准确度与完整度如何？
• RQ4 UrbanScene3D 仿真器在生成用于自主导航与 3D 感知任务的逼真、多样化数据方面有多高效？
• RQ5 同时包含真实与合成都市场景是否能提升 3D 场景理解中学习模型的鲁棒性与泛化能力？

主要发现

• Zhou 等 [46] 提出的路径规划方法在能耗更低的前提下，实现了比斜距摄影更高的重建质量。
• Zhang 等 [44] 的方法由于路径连续性，显著降低了电池消耗，尽管其重建误差略高于 Zhou 等 [46]。
• 斜距摄影虽然能耗效率高，但由于建筑之间的遮挡与视角受限，导致重建结果最粗糙。
• 高精度 LiDAR 扫描的整合使得所有路径规划器的重建准确度与完整度均可在点级别上进行稳健评估。
• 仿真器支持具备物理动力学、光照与天气变化的无人机与汽车逼真仿真，可生成多样化数据，用于训练与评估。
• 该数据集提供超过 128,000 张高分辨率图像、136 km² 的城市区域与详细的实例级标注，构成一个全面的 3D 城市感知与重建基准。