[論文レビュー] On procedural urban digital twin generation and visualization of large scale data

Sanjay Somanath, Vasilis Naserentin+4 more|arXiv (Cornell University)|May 3, 2023

3D Surveying and Cultural Heritage被引用数 5

ひとこと要約

本論文は、GISデータ（建物の輪郭、LiDAR、土地利用）とUnreal Engineを用いて、大規模都市デジタルツインを生成する半自動的で手続き的なワークフローを提示する。大規模な都市分析データと組み合わせて、地形および植生の手続き的生成を統合し、RTX 2080 Tiで12,474本のストリームラインを250 ms未満で効率的に可視化することに成功し、計画およびシミュレーションに適したスケーラブルでインタラクティブな都市モデリングパイプラインを実証した。

ABSTRACT

The desired outcome for urban digital twins is an automatically generated detailed 3D model of a building from aerial imagery, footprints, LiDAR, or a fusion of these. Such 3D models have applications in architecture, civil engineering, urban planning, construction, real estate, GIS, and many others. Further, the visualization of large-scale data in conjunction with the generated 3D models is often a recurring and resource-intensive task. However, a completely automated end-to-end workflow is complex, requiring many steps to achieve a high-quality visualization. Methods for building reconstruction approaches have come a long way from previously manual approaches to semi-automatic or automatic approaches. The next step after reconstructing buildings is visualizing the buildings and their context. Advances in real-time rendering using game engines have enabled the extension of building reconstruction methods to procedurally generated context generation. This paper aims to complement existing methods of 3D building generation. First, we present a literature review covering different options for procedurally generated context generation and visualization methods in-depth, focusing on workflows and data pipelines. Next, we present a semi-automated workflow that extends the building reconstruction pipeline to include procedural context generation (terrain and vegetation) using Unreal Engine and, finally, the integration of various types of large-scale urban analysis data for visualization. We conclude with a series of challenges faced in achieving such pipelines and the limitations of the current approach. The steps for a complete, end-to-end solution involve developing robust systems for building detection, rooftop recognition, and geometry generation and importing and visualizing data in the same 3D environment.

研究の動機と目的

• 複数のGISデータソースからの入力に基づいて、詳細な3D都市デジタルツインを生成する柔軟で半自動のパイプラインを開発すること。
• ゲームエンジン技術を活用して、建物再構築に加え、地形および植生の手続き的生成を拡張すること。
• 統合された3D環境内での、ラスタおよびベクトル形式の多様な大規模都市分析データ（ラスタおよびベクトル）の効率的かつリアルタイムでの可視化を可能にすること。
• 都市計画および意思決定支援を可能にするために、都市シナリオのインタラクティブなシミュレーションを可能にすること。
• スケーラブルなデジタルツインの展開において、データアライメント、計算負荷、データ品質の観点から重要な課題を同定し、それらに対処すること。

提案手法

• Lantmäterietが提供する公開GISデータセット（建物の輪郭：EPSG:3006、LiDAR点群：LAZ、土地利用データ：SHP）を入力として使用する。
• 複数段階のパイプラインを採用：建物検出および屋上認識、3Dジオメトリ生成、Unreal Engine内での手続き的コンテキスト（地形および植生）合成。
• CFDシミュレーション、騒音、汚染など、大規模な都市分析データ（ラスタおよびベクトル形式）を、リアルタイムレンダリング技術を用いて3Dシーンに統合する。
• 流体動力学および環境フローの可視化に、手続き的メッシュ生成とパーティクルシステムを活用する。
• オープンソースツール（FEniCS、Triangle、GEOS）とMITライセンスのデジタルツインシティーズプラットフォームを活用し、PythonおよびC++で実装する。
• GISデータ（EPSG:3006）とUnreal Engineのデカルト座標系との間で座標系を一致させるために、カスタム変換パイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 ゲームエンジンにおける手続き的生成をGISデータと効果的に統合することで、スケーラブルで高精細な都市デジタルツインを構築する方法は何か？
• RQ2 大規模都市データに対して、手続き的メッシュベースのストリームラインとパーティクルシステムベースの可視化の間には、どのようなパフォーマンス上のトレードオフが生じるか？
• RQ3 CFD、騒音、汚染など、多様な大規模都市分析データ（例：CFD、騒音、汚染）を、3Dデジタルツイン環境内でリアルタイムに効率的に可視化する方法は何か？
• RQ4 エンドツーエンドの自動化を実現するにあたり、主な技術的およびデータ関連の制限要因は何か？
• RQ5 手続き的ワークフローは、都市計画および意思決定支援のためのインタラクティブなシナリオテストをどの程度サポートできるか？

主な発見

• 本ワークフローは、Unreal Engineにおける手続き的技術を活用して、公開GISデータから現実的でインタラクティブな3D都市デジタルツインを成功裏に生成した。
• 手続き的メッシュベースのストリームラインは、RTX 2080 Tiで12,474本のストリームラインを処理する際、中央値として247 msの高い可視化フィデリティを達成した。
• パーティクルシステムベースのストリームラインは、12,474本のストリームラインで127 msと高速であるが、手続き的メッシュレンダリングに比べて精度とスケーラビリティに劣る可能性がある。
• 3Dシーンへの多様な都市分析データ（例：CFD、汚染）の統合により、計画およびシミュレーションに適した文脈認識型の可視化が可能になった。
• 顕著な計算リソースとGISおよびゲーム開発分野の専門知識が求められ、座標系間のデータアライメントは依然として重要な課題のままである。
• 現在のパイプラインは静的データに限定されており、リアルタイムデータストリーミングおよび動的更新の実現にはさらなる研究が必要である。