[논문 리뷰] Towards Automated Post-Earthquake Inspections with Deep Learning-based Condition-Aware Models

Vedhus Hoskere, Yasutaka Narazaki외 2명|arXiv (Cornell University)|2018. 09. 24.

Infrastructure Maintenance and Monitoring참고 문헌 8인용 수 38

한 줄 요약

이 논문은 드론(UAV)이 촬영한 이미지를 기반으로 조건 인식 3D 모델을 생성하는 딥러닝 기반 프레임워크를 제안한다. 이는 지진 후 구조물 점검을 자동화하기 위한 것이다. 다중 시점 스테레오를 통한 3D 메쉬 재구성과 함께 건물 이미지의 의미적 세그멘테이션을 융합함으로써, 균열, 표면 벗겨짐 등의 손상 요소와 창문, 문 등의 맥락적 요소를 식별한다. 이는 실제 지진 상황에서 신속하고 자동화된 손상 평가의 가능성을 입증한다.

ABSTRACT

In the aftermath of an earthquake, rapid structural inspections are required to get citizens back in to their homes and offices in a safe and timely manner. These inspections gfare typically conducted by municipal authorities through structural engineer volunteers. As manual inspec-tions can be time consuming, laborious and dangerous, research has been underway to develop methods to help speed up and increase the automation of the entire process. Researchers typi-cally envisage the use of unmanned aerial vehicles (UAV) for data acquisition and computer vision for data processing to extract actionable information. In this work we propose a new framework to generate vision-based condition-aware models that can serve as the basis for speeding up or automating higher level inspection decisions. The condition-aware models are generated by projecting the inference of trained deep-learning models on a set of images of a structure onto a 3D mesh model generated through multi-view stereo from the same image set. Deep fully convolutional residual networks are used for semantic segmentation of images of buildings to provide (i) damage information such as cracks and spalling (ii) contextual infor-mation such as the presence of a building and visually identifiable components like windows and doors. The proposed methodology was implemented on a damaged building that was sur-veyed by the authors after the Central Mexico Earthquake in September 2017 and qualitative-ly evaluated. Results demonstrate the promise of the proposed method towards the ultimate goal of rapid and automated post-earthquake inspections.

연구 동기 및 목표

• 지진 후 수작업 점검에 소요되는 시간을 줄이기 위해 구조물 평가를 자동화하는 것.
• 손상 탐지와 3D 구조 모델링을 통합하는 비전 기반 시스템을 개발하여 상황 인식 능력을 향상시키는 것.
• 드론이 확보한 이미지와 딥러닝을 활용해 손상된 건물의 조건 인식 3D 모델을 생성하는 것.
• 컴퓨터 비전과 3D 재구성을 융합하여 재해 후 평가를 더 빠르고 안전하며 확장 가능한 방식으로 개선하는 것.
• municipal 기관 및 엔지니어가 점검 우선순위를 정하기 위해 실질적인 데이터 기반 통찰을 확보할 수 있도록 지원하는 것.

제안 방법

• 수작업 점검에 의존하지 않고도 손상된 건물의 손상 요소와 맥락적 요소를 정확히 식별하기 위해 UAV가 촬영한 이미지의 의미적 세그멘테이션을 위해 딥 풀 컨volution 리저벌 네트워크를 활용한다.
• 동일한 이미지 세트를 사용하여 다중 시점 스테레오 재구성을 적용해 3D 메쉬 모델을 생성한다.
• 2D 이미지에서의 세그멘테이션 결과를 3D 메쉬에 투영하여 건물 표면 전반에 걸쳐 손상 분포를 반영하는 조건 인식 모델을 생성한다.
• 다양한 각도에서 확보한 시각적 데이터를 통합하여 손상 요소의 공간 일관성과 정확한 국지화를 확보한다.
• 이미지 확보, 의미적 세그멘테이션, 3D 재구성, 기능 투영을 통합한 파이프라인을 구축하여 종단 간 손상 모델링을 수행한다.
• 2017년 멕시코 중부 지진 이후 조사된 실제 건물에서 프레임워크의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 지진 후 건물 영상에서 균열, 표면 벗겨짐과 같은 구조적 손상을 정확하게 탐지할 수 있는가?
• RQ2 드론 영상 세트로부터 3D 메쉬 모델을 얼마나 효과적으로 생성할 수 있는가? 이는 손상 시각화를 지원하는가?
• RQ3 2D 세그멘테이션 결과를 3D 메쉬에 투영하는 것이 손상 평가의 해석 가능성과 활용도를 얼마나 향상시키는가?
• RQ4 제안된 프레임워크는 수작업 방법에 비해 점검 시간을 단축하고 안전성을 향상시킬 수 있는가?
• RQ5 2D에서 3D로의 투영 과정에서 공간 정확성과 맥락 정보를 얼마나 잘 유지하는가?

주요 결과

• 프레임워크는 손상된 건물의 3D 메쉬에 2D 드론 영상에서의 의미적 세그멘테이션 결과를 투영하여 조건 인식 3D 모델을 성공적으로 생성하였다.
• 균열, 표면 벗겨짐과 같은 눈에 보이는 손상 요소뿐 아니라 창문, 문과 같은 맥락적 요소도 정확히 식별하였다.
• 정성 평가 결과, 손상 요소가 건물 표면 전반에 걸쳐 공간적으로 일관된 방식으로 국지화되고 표현됨을 확인하였다.
• 딥러닝과 3D 재구성을 융합함으로써 재해 후 평가에 대해 확장 가능하고 자동화된 접근 방식을 가능하게 하였다.
• 시스템은 구조적 세부 정보와 공간 정확성을 유지하면서도 수작업 점검에 대한 의존도를 줄일 잠재력을 보였다.
• 중앙 멕시코 지진(2017년)에서 확보한 실제 데이터를 바탕으로 시스템의 실용적 관련성을 확인하였다.