[논문 리뷰] On procedural urban digital twin generation and visualization of large scale data

Sanjay Somanath, Vasilis Naserentin외 4명|arXiv (Cornell University)|2023. 05. 03.

3D Surveying and Cultural Heritage인용 수 5

한 줄 요약

이 논문은 지리정보시스템(GIS) 데이터(건물 외곽선, LiDAR, 토지 이용 등)와 Unreal Engine를 활용하여 실시간 3차원 시각화를 위한 대규모 도시 디지털 트윈을 생성하는 반자동 프로시저럴 워크플로우를 제시한다. 이는 대규모 도시 분석 데이터와 함께 프로시저럴 토지 및 식생 생성 기능을 통합하여, RTX 2080 Ti에서 12,474개의 스트리민을 250ms 이내로 효율적으로 시각화함으로써 계획 및 시뮬레이션을 위한 확장 가능한 상호작용형 도시 모델링 파이프라인을 입증한다.

ABSTRACT

The desired outcome for urban digital twins is an automatically generated detailed 3D model of a building from aerial imagery, footprints, LiDAR, or a fusion of these. Such 3D models have applications in architecture, civil engineering, urban planning, construction, real estate, GIS, and many others. Further, the visualization of large-scale data in conjunction with the generated 3D models is often a recurring and resource-intensive task. However, a completely automated end-to-end workflow is complex, requiring many steps to achieve a high-quality visualization. Methods for building reconstruction approaches have come a long way from previously manual approaches to semi-automatic or automatic approaches. The next step after reconstructing buildings is visualizing the buildings and their context. Advances in real-time rendering using game engines have enabled the extension of building reconstruction methods to procedurally generated context generation. This paper aims to complement existing methods of 3D building generation. First, we present a literature review covering different options for procedurally generated context generation and visualization methods in-depth, focusing on workflows and data pipelines. Next, we present a semi-automated workflow that extends the building reconstruction pipeline to include procedural context generation (terrain and vegetation) using Unreal Engine and, finally, the integration of various types of large-scale urban analysis data for visualization. We conclude with a series of challenges faced in achieving such pipelines and the limitations of the current approach. The steps for a complete, end-to-end solution involve developing robust systems for building detection, rooftop recognition, and geometry generation and importing and visualizing data in the same 3D environment.

연구 동기 및 목표

• 다양한 소스의 GIS 데이터에서 유연하고 반자동으로 세밀한 3차원 도시 디지털 트윈을 생성하는 파이프라인을 개발하는 것.
• 게임 엔진 기술을 활용해 건물 재구성 외에도 프로시저럴 방식의 토지 및 식생 생성을 확장하는 것.
• 통합된 3차원 환경 내에서 래스터 및 벡터 형식의 다양한 대규모 도시 분석 데이터(레이어)를 효율적으로 실시간으로 시각화하는 것.
• 도시 계획 및 의사결정 지원을 위해 도시 시나리오의 상호작용형 시뮬레이션을 가능하게 하는 것.
• 확장 가능한 디지털 트윈 배포를 위한 데이터 정렬, 계산 부하, 데이터 품질과 관련된 핵심 과제를 규명하고 해결하는 것.

제안 방법

• 스웨덴 국토청(Lantmäteriet)으로부터 제공하는 공공 GIS 데이터 세트—건물 외곽선(EPSG:3006), LiDAR 포인트 클라우드(LAZ), 토지 이용 데이터(SHP)—를 입력으로 사용한다.
• 다단계 파이프라인을 활용: 건물 감지 및 屋상 인식, 3차원 기하 구조 생성, Unreal Engine 내에서의 프로시저럴 환경(토지 및 식생) 합성.
• 실시간 렲링 기법을 활용해 래스터 및 벡터 형식의 대규모 도시 분석 데이터(예: CFD 시뮬레이션, 소음, 오염)를 3차원 시각화 환경에 통합한다.
• 유체역학 및 환경 유동을 시각화하기 위해 프로시저럴 메쉬 생성 기법과 입자 시스템을 활용한다.
• 오픈소스 도구(FEniCS, Triangle, GEOS)와 MIT 라이선스 기반의 Digital Twin Cities Platform을 활용하여 파이썬 및 C++로 구현한다.
• GIS 데이터(EPSG:3006)와 Unreal Engine의 카르테시안 좌표계 간의 좌표계 정렬을 위해 고유의 변환 파이프라인을 설계한다.

실험 결과

연구 질문

• RQ1 게임 엔진 내 프로시저럴 생성 기법을 GIS 데이터와 효과적으로 융합하여 확장 가능한 고해상도의 도시 디지털 트윈을 구축할 수 있는가?
• RQ2 대규모 도시 데이터에 대한 프로시저럴 메쉬 기반 스트리민과 입자 시스템 기반 시각화 간의 성능 상충 관계는 어떠한가?
• RQ3 CFD, 소음, 오염 등 다양한 대규모 도시 분석 데이터를 3차원 디지털 트윈 환경 내에서 실시간으로 효율적으로 시각화할 수 있는가?
• RQ4 도시 디지털 트윈 생성 및 시각화의 종단 간 자동화를 달성하는 데 있어 주요 기술적 및 데이터 관련 제약 조건은 무엇인가?
• RQ5 프로시저럴 워크플로우가 도시 계획 및 의사결정 지원을 위한 상호작용형 시나리오 테스트를 얼마나 잘 지원할 수 있는가?

주요 결과

• 공공 GIS 데이터를 기반으로 프로시저럴 기법을 사용해 Unreal Engine 내에서 현실적이고 상호작용 가능한 3차원 도시 디지털 트윈을 성공적으로 생성하였다.
• 프로시저럴 메쉬 기반 스트리민은 RTX 2080 Ti에서 12,474개의 스트리민에 대해 중앙값 렌더링 시간 247ms로 높은 시각적 정밀도를 달성하였다.
• 입자 시스템 기반 스트리민은 더 빠른 성능(12,474개 스트리민에 대해 127ms)을 보였지만, 프로시저럴 메쉬 렌더링에 비해 정밀도와 확장성 측면에서 열등할 수 있다.
• 3차원 시각화 환경에 다양한 도시 분석 데이터(예: CFD, 오염)를 통합함으로써 계획 및 시뮬레이션에 적합한 맥락 인식 시각화가 가능해졌다.
• 상당한 계산 자원과 GIS 및 게임 개발 전문 지식이 요구되며, 좌표계 간 데이터 정렬 문제는 여전히 핵심 과제로 남아 있다.
• 현재 파이프라인은 정적 데이터에 국한되어 있으며, 실시간 데이터 스트리밍 및 동적 업데이트 기능은 향후 연구가 필요하다.