[논문 리뷰] Building Information Modeling and Classification by Visual Learning At A City Scale

Qian Yu, Chaofeng Wang외 5명|arXiv (Cornell University)|2019. 10. 14.

Remote-Sensing Image Classification참고 문헌 16인용 수 19

한 줄 요약

이 논문은 위성 및 스트리트 뷰 이미지를 사용하여 도시 규모의 빌딩 정보 모델링(BIM) 및 소프트스토리 빌딩 분류를 위한 딥러닝 프레임워크 BRAILS를 제안한다. CNN 기반의 시각적 특징 추출과 공간 패턴 탐지 도구(SURF)를 결합함으로써, 자동화된 대규모 BIM 생성이 가능하며, 지진에 취약한 소프트스토리 빌딩을 85.94%의 평균 정확도로 식별한다. 이는 재해 저항성 응용 분야에서 높은 잠재력을 보여준다.

ABSTRACT

33rd Conference on Neural Information Processing Systems (NeurIPS 2019), Vancouver, Canada. Corresponding author: Chaofeng Wang, [e-mail] In this paper, we provide two case studies to demonstrate how artificial intelligence can empower civil engineering. In the first case, a machine learning-assisted framework, BRAILS, is proposed for city-scale building information modeling. Building information modeling (BIM) is an efficient way of describing buildings, which is essential to architecture, engineering, and construction. Our proposed framework employs deep learning technique to extract visual information of buildings from satellite/street view images. Further, a novel machine learning (ML)-based statistical tool, SURF, is proposed to discover the spatial patterns in building metadata. <br> The second case focuses on the task of soft-story building classification. Soft-story buildings are a type of buildings prone to collapse during a moderate or severe earthquake. Hence, identifying and retrofitting such buildings is vital in the current earthquake preparedness efforts. For this task, we propose an automated deep learning-based procedure for identifying soft-story buildings from street view images at a regional scale. We also create a large-scale building image database and a semi-automated image labeling approach that effectively annotates new database entries. Through extensive computational experiments, we demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 도시 규모에서 종합적인 빌딩 정보 모델링(BIM) 데이터베이스를 구축하기 위한 확장 가능한 머신러닝 기반 프레임워크 개발
• 스트리트 뷰 이미지의 시각적 특징을 활용하여 지진에 취약한 소프트스토리 빌딩을 식별하기
• 새로운 머신러닝 기반 도구인 SURF를 통해 기존 데이터의 공간 패턴을 분석하여 빌딩 메타데이터의 데이터 부족 문제를 해결하기
• 딥러닝 모델의 학습 및 검증을 위한 대규모 반자동 레이블링된 빌딩 이미지 데이터베이스 구축하기
• 학습된 분류기들을 활용하여 소프트스토리 빌딩 분포도를 생성함으로써 대규모 지진 위험 평가를 가능하게 하기

제안 방법

• 초기 빌딩 메타데이터 수집을 위해 공공 재산세 기록을 크롤링하여 층수, 건축 연도, 재질 등을 포함한다.
• 각 빌딩의 지리적 좌표(Lat/Long)를 할당하기 위해 Google Geocoding API를 사용하여 이미지 검색 및 공간 분석을 수행한다.
• OpenStreetMap 레이블링 속성에 맞게 미세조정된 사전 훈련된 컨volutional 신경망(CNN)을 사용하여 위성 및 스트리트 뷰 이미지에서 시각적 특징을 추출한다.
• 기존 데이터의 공간 패턴을 기반으로 누락된 메타데이터 값을 예측하기 위해 새로운 머신러닝 기반 공간 불확실성 정량화 도구인 SURF를 구현한다.
• 25,340개의 빌딩 이미지로 구성된 반자동으로 레이블링된 데이터셋을 사용하여 교차 엔트로피 손실 기반 이진 분류기를 훈련하고, ResNet50가 가장 높은 성능을 보였다.
• 예측에 사용된 이미지 영역을 시각화하고 해석하기 위해 클래스 활성화 맵(CAM)을 적용하여 모델이 관련 빌딩 특징에 주목하고 있음을 검증한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 위성 및 스트리트 뷰 이미지의 시각적 데이터에서 효과적으로 빌딩 속성을 추출하여 도시 규모의 BIM 데이터베이스를 향상시킬 수 있는가?
• RQ2 딥러닝 분류기는 스트리트 뷰 이미지에서 소프트스토리 빌딩을 얼마나 정확하게 식별할 수 있으며, 이 작업에서 어떤 CNN 아키텍처가 가장 우수한 성능을 보이는가?
• RQ3 공간 패턴 탐지 도구(SURF)는 기존 데이터의 공간 패턴을 모델링하여 누락된 메타데이터를 예측함으로써 BIM 데이터베이스의 완전성과 신뢰성을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 프레임워크는 데이터가 부족한 지역에도 일반화 가능한가, 아니면 고품질의 지리공간 데이터를 갖춘 데이터가 풍부한 도시 지역에 국한되는가?
• RQ5 시각적 주의 메커니즘(CAM을 통한)은 소프트스토리 취약성과 관련된 구조적 특징과 얼마나 일치하는가? 이는 모델의 해석 가능성과 신뢰성 확인에 기여하는가?

주요 결과

• BRAILS 프레임워크는 재산세 기록의 메타데이터와 위성 및 스트리트 뷰 이미지에서 추출한 시각적 특징을 통합하여 도시 규모의 BIM 데이터베이스를 성공적으로 구축하였다.
• SURF 도구는 공간 패턴을 모델링하여 누락된 빌딩 메타데이터를 효과적으로 예측함으로써 수동 입력 없이도 데이터베이스의 완전성을 향상시켰다.
• 검토된 CNN 아키텍처 중에서 ResNet50가 소프트스토리 빌딩 분류 작업에서 가장 높은 성능을 보였으며, 평균 정확도 85.94%, 정밀도 84.16%, 재현율 82.80%, F1 점수 83.47%를 기록하였다.
• 클래스 활성화 맵(CAM) 시각화 결과, 모델이 예측을 내릴 때 빌딩 수준의 특징—특히 구조적 요소—에 주목하고 있음을 확인하여 관련 시각적 단서에 신뢰할 수 있는 주의를 기울이고 있음을 입증하였다.
• 학습된 분류기를 활용하여 오akland 지역의 1,359장의 스트리트 뷰 이미지를 기반으로 소프트스토리 빌딩 분포도를 생성함으로써, 지역 위험 평가에 대한 확장성을 입증하였다.
• 데이터가 풍부한 지역에서는 뛰어난 성능를 보였지만, OSM 및 Google Maps에서 데이터 부족으로 인해 저소득 및 중간소득 국가에서는 프레임워크의 일반화 능력이 제한되어 있다.