[논문 리뷰] ConstructAide: Analyzing and Visualizing Construction Sites through Photographs and Building Models

Kevin Karsch, Mani Golparvar‐Fard외 1명|arXiv (Cornell University)|2019. 12. 24.

3D Surveying and Cultural Heritage참고 문헌 44인용 수 12

한 줄 요약

ConstructAide는 사용자 보조 Structure-from-Motion(SfM) 기법을 사용하여 순서가 뒤죽박게 된 건설 현장 사진을 4D 빌딩 정보 모델(BIM)과 정렬하는 새로운 시스템이다. 이는 최소한의 사용자 입력으로 사진과 같은 시각화, 4D 탐색, 진행 상황 모니터링, 음영 감지 기능을 제공한다. 특히 희박한 공간적 샘플링과 고밀도 시간적 데이터에서 기존 SfM 방법보다 정확도와 견고성이 뛰어나다.

ABSTRACT

We describe a set of tools for analyzing, visualizing, and assessing architectural/construction progress with unordered photo collections and 3D building models. With our interface, a user guides the registration of the model in one of the images, and our system automatically computes the alignment for the rest of the photos using a novel Structure-from-Motion (SfM) technique; images with nearby viewpoints are also brought into alignment with each other. After aligning the photo(s) and model(s), our system allows a user, such as a project manager or facility owner, to explore the construction site seamlessly in time, monitor the progress of construction, assess errors and deviations, and create photorealistic architectural visualizations. These interactions are facilitated by automatic reasoning performed by our system: static and dynamic occlusions are removed automatically, rendering information is collected, and semantic selection tools help guide user input. We also demonstrate that our user-assisted SfM method outperforms existing techniques on both real-world construction data and established multi-view datasets.

연구 동기 및 목표

• 무작위 사진과 3차원 빌딩 모델을 사용하여 정확하고 상호작용 가능한 4D 건설 현장 시각화를 가능하게 하기.
• 복잡한 CAD 소프트웨어에 의존하는 것을 줄이고, 사용자 가이드 모델 정렬을 통해 직관적이고 사진과 같은 시각화를 제공하기.
• 시간 스탬프가 찍힌 이미지 간의 진행 상황 모니터링, 이격 감지, 협업 주석 기능을 지원하기.
• 희박하고 고밀도 이미지 컬렉션에서 정확도를 향상시키는 견고한 사용자 보조 SfM 방법 개발하기.
• 통합된 사진 및 모델 데이터를 통해 건축물의 실제 상태와 계획된 상태를 시각화함으로써 시설 관리 지원하기.

제안 방법

• 시스템은 3차원 메esh 모델과 단일 기준 이미지 간의 2D-3D 점 대응 관계를 활용하여 카메라 자세를 초기화하는 사용자 보조 SfM 기법을 사용한다.
• 재구성 정확도 향상과 드리프트 감소를 위해 점-n-파노라마 및 번들 조정 문제에 대한 새로운 목적 함수를 제안한다.
• SfM 점군과 시간적 이미지 시퀀스를 사용하여 정적 및 동적 음영을 자동으로 감지함으로써 음영 제거와 현실적인 복합 기능을 가능하게 한다.
• 조명 및 재질 등의 렲링 파rameter는 BIM 데이터에서 추론하여 실제 사진 위에 사진과 같은 시각화를 생성한다.
• 세분적 선택 도구는 관련 건물 요소를 강조함으로써 사용자 입력의 효율성과 정확도를 향상시킨다.
• 한 이미지에서 이루어진 주석 및 편집 사항은 정렬된 모델과 사진 세트를 사용하여 시간과 공간에 걸쳐 자동으로 전파된다.

실험 결과

연구 질문

• RQ1 사용자 보조 SfM 방법이 기존 자동 기법보다 건설 현장 사진과 4D BIM을 정렬할 때 더 높은 정확도를 달성할 수 있는가?
• RQ2 SfM 점군과 시간적 이미지 데이터를 사용하여 음영을 얼마나 효과적으로 감지하고 제거할 수 있는가?
• RQ3 특수한 CAD 소프트웨어 없이 최소한의 사용자 입력으로 사진과 같은 시각화를 얼마나 잘 생성할 수 있는가?
• RQ4 시간 스탬프가 찍힌 이미지 컬렉션에서 시스템이 4D 탐색과 진행 상황 모니터링을 얼마나 잘 지원하는가?
• RQ5 희박한 공간적 샘플링과 고밀도 시간적 샘플링의 건설 현장에서 시스템이 얼마나 견고한 성능을 유지하는가?

주요 결과

• 제안된 사용자 보조 SfM 방법은 특히 희박한 공간적 샘플링 상황에서 최첨단 기술보다 낮은 재구성 오차와 감소된 드리프트를 달성한다.
• 시스템은 BIM 데이터에서 조명 및 재질 특성을 정확히 추론하여 실제 사진 위에 복합화함으로써 사진과 같은 건축 시각화를 성공적으로 구현한다.
• 설비와 같은 일시적 현장 요소로 인한 음영은 SfM 점군과 시간적 이미지 분석을 통해 감지되고 제거되어 시각화 품질을 향상시킨다.
• 한 이미지에서 이루어진 주석은 컬렉션 내 다른 이미지로 자동으로 전달되어 효율적인 협업 검토 및 진행 상황 추적를 가능하게 한다.
• 실제 건설 데이터셋과 표준 다중시점 벤치마크에서 기존 SfM 방법보다 시스템이 뛰어난 견고성과 정확도를 보이며 슈퍼리어한 성능을 입증한다.
• 이 방법은 카메라가 공간적으로 희박하게 분포되어 있는 경우가 많고, 전통적인 SfM이 희박한 샘플링로 인해 실패하는 경우에 특히 효과적이다.