[논문 리뷰] Adaptive AI-Driven Earthquake Simulation Leveraging Real-Time Geospatial Data and Advanced Machine Learning Models

Yitong Sun, Hanchun Wang외 3명|arXiv (Cornell University)|2023. 11. 13.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 실세계 지진 파형 데이터를 통합하여 현실적인 도시 파괴 시나리오를 생성하는 Unreal Engine 5 기반 고해상도 지진 시뮬레이션 환경인 RESenv를 제시한다. Chaos 물리 엔진과 고급 렌더링을 활용하여, 경로 계획, 이미지 세분화, 유사도 검출 등의 AI 모델 훈련을 위한 사진처럼 사실적인 실시간 시뮬레이션을 가능하게 한다. 이는 96%의 엣지 세분화 정확도와 80%의 시험에서 100%의 경로 완료율을 달성한다.

ABSTRACT

Earthquakes have a significant impact on societies and economies, driving the need for effective search and rescue strategies. With the growing role of AI and robotics in these operations, high-quality synthetic visual data becomes crucial. Current simulation methods, mostly focusing on single building damages, often fail to provide realistic visuals for complex urban settings. To bridge this gap, we introduce an innovative earthquake simulation system using the Chaos Physics System in Unreal Engine. Our approach aims to offer detailed and realistic visual simulations essential for AI and robotic training in rescue missions. By integrating real seismic waveform data, we enhance the authenticity and relevance of our simulations, ensuring they closely mirror real-world earthquake scenarios. Leveraging the advanced capabilities of Unreal Engine, our system delivers not only high-quality visualisations but also real-time dynamic interactions, making the simulated environments more immersive and responsive. By providing advanced renderings, accurate physical interactions, and comprehensive geological movements, our solution outperforms traditional methods in efficiency and user experience. Our simulation environment stands out in its detail and realism, making it a valuable tool for AI tasks such as path planning and image recognition related to earthquake responses. We validate our approach through three AI-based tasks: similarity detection, path planning, and image segmentation.

연구 동기 및 목표

• 후재난 상황에서 AI 및 로봇 훈련을 위한 현실적이고 대규모의 도시 지진 시뮬레이션 부족 문제를 해결하기 위해.
• 게임 엔진 기반 시뮬레이션에 실제 지진 파형 데이터를 통합하여 합성 데이터와 실제 세계의 시각적 복잡성 간 격차를 해소하기 위해.
• 다양한 AI 훈련 작업(예: 경로 계획, 이미지 인식 등)을 지원하는 확장 가능하고 상호작용이 가능하며 시각적으로 정확한 시뮬레이션 환경을 구축하기 위해.
• 기준 AI 작업을 통해 합성 데이터의 유용성을 검증하여 실제 적용에 효과적임을 입증하기 위해.

제안 방법

• 실제 지진 파형 데이터를 기반으로 다중 건물의 구조적 손상을 시뮬레이션하기 위해 Unreal Engine 5와 Chaos 물리 시스템을 활용한다.
• 공개 저장소에서 확보한 실제 세계의 지진 데이터를 활용하여 도시 건물 및 인프라의 동적이고 물리 기반의 파괴를 구현한다.
• 레이 트레이싱과 동적 조명을 활용한 고해상도 렌더링을 통해 AI 훈련을 위한 사진처럼 사실적인 시각 출력을 생성한다.
• 시뮬레이션 품질 평가를 위해 최신 AI 기법—비전 트랜스포머(ViT), 딥 강화 학습 기반 SLAM(DRL SLAM), Segment Anything Model(SAM)—을 적용한다.
• Canny 알고리즘을 통한 엣지 검출에 팽창 연산을 적용하여 시뮬레이션 결과와 기준값 간의 세분화 정확도를 정량적으로 평가한다.
• UE 내부 및 SAM 처리 기준값을 사용하여 세 가지 AI 중심 작업—유사도 검출, 경로 계획, 이미지 세분화—을 통해 환경를 검증한다.

Figure 1: Flowchart of RESenv for earthquake simulation. There are three steps: scenario preparation, data binding, and simulation. During the data preparation phase, 3D building models are imported into UE, which are then pre-fractured by material groups. Actual seismic wave data was acquired from

실험 결과

연구 질문

• RQ1 실제 지진 데이터를 활용한 게임 엔진 기반 시뮬레이션은 AI 훈련에 적합한 시각적·물리적 현실성을 갖춘 후지진 도시 환경를 생성할 수 있는가?
• RQ2 실제 기준과 비교할 때, 시뮬레이션된 데이터는 경로 계획 및 이미지 세분화와 같은 후속 AI 작업에 얼마나 효과적인가?
• RQ3 동적 조명 및 시각적 장애물과 같은 환경 요소가 시뮬레이션된 재난 상황에서 AI 인식에 얼마나 영향을 미치는가?
• RQ4 실제 지진 파동을 통합함으로써 물리적 진정성과 훈련의 관련성이 어떻게 향상되는가?

주요 결과

• 경로 계획 시험의 80%에서 100% 완료율을 달성하여, RESenv가 경로 탐색 알고리즘 훈련에 실현 가능함을 입증했다.
• 50픽셀 팽창 커널을 사용할 경우, SAM 모델이 UE 내부 세분화 출력에서 96.0%의 엣지 세분화 정확도를 달성하여 시각 인식에 적합한 고품질 합성 데이터임을 확인했다.
• 경로 20에서 50픽셀 팽창 커널을 사용할 경우 최고의 엣지 세분화 정확도(99.1%)를 기록하여, 미세한 시각 작업에 대한 시뮬레이션의 강건성을 확인했다.
• 가상의 햇빛 반사로 인한 시각적 간섭이 주요 과제로 규명되었으며, 이는 인식 성능 저하를 유도하여 시뮬레이션의 환경 현실성의 중요성을 강조했다.
• 복잡한 다중 건물 파손 시나리오를 성공적으로 생성하여 실제 후지진 상태와 유사하게 만들었으며, 효과적인 AI 훈련을 가능하게 했다.
• 결과적으로 RESenv는 구조 및 구조적 복구 로봇 및 컴퓨터 비전 응용 분야에서 AI 모델 훈련을 위한 실용적이고 효과적인 합성 데이터 소스로 검증되었다.

Figure 2: Three examples of pre-fracturing of walls in different materials. Once the building has been imported into UE, the 3D model needs to be pre-fractured in order to be damaged accordingly in the earthquake simulation. The pre-fracture is set according to the material properties of the buildin