[논문 리뷰] Deep Learning Guided Building Reconstruction from Satellite Imagery-derived Point Clouds

Bo Xu, Xu Zhang외 4명|arXiv (Cornell University)|2020. 05. 19.

Remote Sensing and LiDAR Applications참고 문헌 32인용 수 4

한 줄 요약

이 논문은 노이즈가 많은 위성 유도 점군에서 강건한 3차원 건물 재구성에 대한 딥러닝 기반 종단간 프레임워크를 제안한다. PointNet을 사용해 屋根 형태를 분류하고, 다중 조건 히에라르키컬 RANSAC 방법을 통해 평면, 원통형, 구형 기하 원소를 추출하여 네 도시 지역에서 항공 LiDAR 기준 진실값과 비교해 83.0%의 屋根 형태 인식 정확도와 70% 이상의 완전성 및 정확도를 달성하였다.

ABSTRACT

3D urban reconstruction of buildings from remotely sensed imagery has drawn significant attention during the past two decades. While aerial imagery and LiDAR provide higher resolution, satellite imagery is cheaper and more efficient to acquire for large scale need. However, the high, orbital altitude of satellite observation brings intrinsic challenges, like unpredictable atmospheric effect, multi view angles, significant radiometric differences due to the necessary multiple views, diverse land covers and urban structures in a scene, small base-height ratio or narrow field of view, all of which may degrade 3D reconstruction quality. To address these major challenges, we present a reliable and effective approach for building model reconstruction from the point clouds generated from multi-view satellite images. We utilize multiple types of primitive shapes to fit the input point cloud. Specifically, a deep-learning approach is adopted to distinguish the shape of building roofs in complex and yet noisy scenes. For points that belong to the same roof shape, a multi-cue, hierarchical RANSAC approach is proposed for efficient and reliable segmenting and reconstructing the building point cloud. Experimental results over four selected urban areas (0.34 to 2.04 sq km in size) demonstrate the proposed method can generate detailed roof structures under noisy data environments. The average successful rate for building shape recognition is 83.0%, while the overall completeness and correctness are over 70% with reference to ground truth created from airborne lidar. As the first effort to address the public need of large scale city model generation, the development is deployed as open source software.

연구 동기 및 목표

• 다중 시점 위성 영상에서 유도된 저품질이고 노이즈가 많은 점군으로부터 세밀한 3차원 건물 모델을 재구성하는 과제를 해결한다.
• 위성 유도 점군에 적용할 때 고해상도 항공 또는 LiDADR 데이터를 대상으로 설계된 기존 방법의 한계를 극복한다.
• 딥러닝과 전통적 기하 분할 기법을 통합하여 대규모 자동 3차원 도시 모델링을 가능하게 한다.
• 다양한 屋根 유형, 노이즈, 데이터 공백이 있는 복잡한 도시 환경에서도 재구성의 강건성을 향상시킨다.
• 위성 데이터에서의 확장 가능한 도시 모델링을 위한 공개된 오픈소스 소프트웨어 파이프라인을 개발한다.

제안 방법

• 수동 레이블링에 대한 의존도를 줄이기 위해 새로운 데이터 합성 방법을 사용해 원시 점군에서 직접 屋根 형태를 분류하는 PointNet 기반 딥러닝 모델을 활용한다.
• 분할 이전에 구조적 노이즈를 억제하고 빈 공간을 메우기 위해 이동 최소 제곱법과 중앙값 필터링을 적용한다.
• 표면 법선과 이미지 색상의 두 가지 조건을 융합해 평면, 원통형, 구형 屋根 원소를 강건하게 탐지하는 다중 조건 히에라르키컬 RANSAC 알고리즘을 구현한다.
• 가장 단순한 형태부터 우선순위를 두어 계산을 가속화하고 분할 신뢰도를 향상시키기 위해 히에라르키컬 RANSAC 전략을 적용한다.
• 경계 정규화 및 屋根 토폴로지 재구성 기법을 통해 분할된 원소에서 일관되고 닫힌 3차원 건물 모델을 생성한다.
• 전체 파이프라인을 종단간 자동화 시스템으로 통합하여 아마존 웹 서비스와 같은 클라우드 플랫폼에 배포 가능하도록 한다.

실험 결과

연구 질문

• RQ1 기존 방법이 실패하는 노이즈가 많은 위성 유도 점군에서 딥러닝이 복잡한 屋根 형태를 효과적으로 분류할 수 있는가?
• RQ2 위성 점군에 내재된 고노이즈 및 데이터 희소성에 대비해 기하 분할을 어떻게 강건하게 만들 수 있는가?
• RQ3 기본 RANSAC에 비해 다중 조건 히에라르키컬 RANSAC 접근 방식이 원소 탐지 정확도와 효율성에 얼마나 기여하는가?
• RQ4 고해상도 항공 또는 LiDAR 데이터에 의존하지 않고도 대규모에서 고품질의 3차원 건물 재구성을 달성할 수 있는가?
• RQ5 종단간 파이프라인의 성능은 완전성, 정확도, IoU 측면에서 항공 LiDAR 기준 진실값과 비교해 어떻게 평가되는가?

주요 결과

• 제안된 방법은 네 도시 테스트 지역에서 평균 83.0%의 屋根 형태 인식률을 달성하여 복잡한 시나리오에서의 강력한 일반화 능력을 입증하였다.
• 두 개의 더 큰 테스트 지역(0.96 및 2.04 km²)에서 재구성 모델의 총 완전성 및 정확도가 70%를 초과하였으며, 항공 LiDAR 기준 진실값과 비교해 3D IoU 점수는 70%에서 75% 사이를 기록하였다.
• 메서드는 복잡한 屋根 유형, 특히 구형 및 곡선 형태를 성공적으로 재구성하였으며, AOI 4에서 6개의 구형 屋根 중 4개가 정확하게 포착됨을 검증하였다.
• 분할 파이프라인에 원통형 및 구형 모델이 누락된 경우 균열이 발생하고 재구성이 불완전해지는 현상이 발생하여, 원소 라이브러리 내 형태 다양성의 중요성을 입증하였다.
• 다중 조건 히에라르키컬 RANSAC는 특히 노이즈가 많은 환경에서 표준 RANSAC에 비해 분할 신뢰도를 향상시키고 계산 시간을 단축시켰다.
• 파이프라인의 오픈소스 구현은 대규모 배포와 클라우드 기반 도시 모델링 서비스에의 통합을 가능하게 하여, 확장 가능한 자동 3차원 도시 모델링의 목표를 달성하였다.