[论文解读] On procedural urban digital twin generation and visualization of large scale data

Sanjay Somanath, Vasilis Naserentin+4 more|arXiv (Cornell University)|May 3, 2023

3D Surveying and Cultural Heritage被引用 5

一句话总结

本文提出了一种半自动化的程序化工作流程，利用GIS数据（建筑轮廓、LiDAR、土地利用）和Unreal Engine实现大规模城市数字孪生的实时3D可视化。该方法将程序化地形与植被生成技术与大规模城市分析数据相结合，在RTX 2080 Ti显卡上实现了对最多12,474条流线的可视化，耗时不足250 ms，展示了适用于规划与仿真的可扩展、交互式城市建模流程。

ABSTRACT

The desired outcome for urban digital twins is an automatically generated detailed 3D model of a building from aerial imagery, footprints, LiDAR, or a fusion of these. Such 3D models have applications in architecture, civil engineering, urban planning, construction, real estate, GIS, and many others. Further, the visualization of large-scale data in conjunction with the generated 3D models is often a recurring and resource-intensive task. However, a completely automated end-to-end workflow is complex, requiring many steps to achieve a high-quality visualization. Methods for building reconstruction approaches have come a long way from previously manual approaches to semi-automatic or automatic approaches. The next step after reconstructing buildings is visualizing the buildings and their context. Advances in real-time rendering using game engines have enabled the extension of building reconstruction methods to procedurally generated context generation. This paper aims to complement existing methods of 3D building generation. First, we present a literature review covering different options for procedurally generated context generation and visualization methods in-depth, focusing on workflows and data pipelines. Next, we present a semi-automated workflow that extends the building reconstruction pipeline to include procedural context generation (terrain and vegetation) using Unreal Engine and, finally, the integration of various types of large-scale urban analysis data for visualization. We conclude with a series of challenges faced in achieving such pipelines and the limitations of the current approach. The steps for a complete, end-to-end solution involve developing robust systems for building detection, rooftop recognition, and geometry generation and importing and visualizing data in the same 3D environment.

研究动机与目标

• 开发一种灵活的、半自动化的流程，从多源GIS数据生成高保真度3D城市数字孪生。
• 通过游戏引擎技术扩展建筑重建，实现地形与植被的程序化生成。
• 在统一的3D环境中高效实现实时可视化多种大规模城市分析数据（栅格与矢量格式）。
• 通过支持城市场景的交互式仿真，为城市规划与决策制定提供支持。
• 识别并解决在可扩展数字孪生部署中涉及的数据对齐、计算负载与数据质量等关键挑战。

提出的方法

• 使用来自Lantmäteriet的公开GIS数据集作为输入，包括建筑轮廓（EPSG:3006）、LiDAR点云（LAZ）和土地利用数据（SHP）。
• 采用多阶段工作流程：建筑检测与屋顶识别、3D几何体生成，以及在Unreal Engine中进行程序化上下文（地形与植被）合成。
• 利用实时渲染技术，将大规模城市分析数据（如CFD仿真、噪声、污染）以栅格与矢量格式集成至3D场景中。
• 使用程序化网格生成技术渲染流线，结合粒子系统可视化流体动力学与环境流。
• 利用开源工具（FEniCS、Triangle、GEOS）与MIT许可的Digital Twin Cities Platform，在Python与C++中实现系统。
• 通过自定义转换管道，将GIS数据（EPSG:3006）与Unreal Engine的笛卡尔坐标系对齐。

实验结果

研究问题

• RQ1 如何有效结合游戏引擎中的程序化生成技术与GIS数据，以创建可扩展、高保真度的城市数字孪生？
• RQ2 在大规模城市数据可视化中，程序化网格流线与基于粒子系统的可视化在性能上存在何种权衡？
• RQ3 如何在3D数字孪生环境中高效实现实时可视化多种大规模城市分析数据（如CFD、噪声、污染）？
• RQ4 在实现城市数字孪生生成与可视化端到端自动化过程中，主要的技术与数据相关限制是什么？
• RQ5 程序化工作流程在支持城市规划与决策制定的交互式场景测试方面，其适用程度如何？

主要发现

• 该工作流程成功利用Unreal Engine中的程序化技术，从公开GIS数据生成了逼真且可交互的3D城市数字孪生。
• 程序化网格流线在RTX 2080 Ti上对12,474条流线的平均渲染时间为247 ms，实现了高视觉保真度。
• 基于粒子系统的流线渲染速度更快（12,474条流线仅需127 ms），但可能在精度与可扩展性方面不如程序化网格渲染。
• 将多种城市分析数据（如CFD、污染）集成至3D场景中，实现了面向规划与仿真的上下文感知可视化。
• 该流程对计算资源与GIS及游戏开发专业知识要求较高，且跨坐标系的数据对齐仍是关键挑战。
• 当前工作流程仅支持静态数据；实时数据流传输与动态更新仍需进一步研究。