[논문 리뷰] Machine-learned 3D Building Vectorization from Satellite Imagery

Yi Wang, Stefano Zorzi외 1명|arXiv (Cornell University)|2021. 04. 13.

Remote Sensing and LiDAR Applications참고 문헌 33인용 수 6

한 줄 요약

이 논문은 단일 채널 사진측량 DSM 및 펄스파닉룰 인공위성 영상에서 자동 3D 건물 벡터화를 위한 머신러닝 파이프라인을 제안한다. DSM 정제를 위해 CBAM 모듈을 갖춘 조건부 GAN을 사용하고, 가장자리 및 모서리 검출을 위한 공유 아키텍처의 세분화 네트워크를 적용하며, 새로운 벡터화 파이프라인을 통해 정확한 높이 통합을 갖춘 LoD-2 건물 모델을 생성하여 대규모 위성 데이터에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a machine learning based approach for automatic 3D building reconstruction and vectorization. Taking a single-channel photogrammetric digital surface model (DSM) and panchromatic (PAN) image as input, we first filter out non-building objects and refine the building shapes of input DSM with a conditional generative adversarial network (cGAN). The refined DSM and the input PAN image are then used through a semantic segmentation network to detect edges and corners of building roofs. Later, a set of vectorization algorithms are proposed to build roof polygons. Finally, the height information from the refined DSM is added to the polygons to obtain a fully vectorized level of detail (LoD)-2 building model. We verify the effectiveness of our method on large-scale satellite images, where we obtain state-of-the-art performance.

연구 동기 및 목표

• 대규모 위성 영상에서 정확하고 완전한 3D 건물 모델(LoD-2)을 재구성하는 과제를 해결하기 위해.
• 딥러닝을 활용하여 비건물 객체를 제거하고 건물 형태를 정교화함으로써 사진측량 DSM의 품질을 향상시키기 위해.
• 가장자리 및 모서리 검출을 통해 자동으로 건물 지붕을 벡터화하기 위해.
• 정제된 DSM의 높이 정보를 벡터화된 2D 다각형에 통합하여 완전한 3D 건물 모델을 생성하기 위해.
• LiDAR나 복잡한 다중 센서 융합에 의존하지 않고도 DSM 및 PAN 이미지 입력만으로도 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 비건물 객체를 제거하고 건물 형태 정확도를 향상시키기 위해, CBAM 주의 모듈을 갖춘 조건부 생성적 적대 신경망(cGAN)을 사용하여 입력 사진측량 DSM을 정제한다.
• cGAN 생성기에서 유도된 특징을 활용하여, 정제된 DSM 및 PAN 이미지에서 가장자리 및 모서리를 검출하는 공유 아키텍처의 세분화 네트워크를 적용한다.
• 다중 최대값 제거(NMS)를 적용하여 가장 신뢰도가 높은 모서리 점을 선택함으로써 중복을 줄이고 정밀도를 향상시킨다.
• 버퍼 연결성과 임계값 설정을 통해 검출된 가장자리를 연속적인 선분으로 그룹화하여 강력한 다각형화를 가능하게 한다.
• 검출된 가장자리 및 모서리를 기반으로 벡터화 파이프라인은 지붕 다각형을 구성하고, 정제된 DSM에서 고도 값을 보간하여 3D LoD-2 모델을 형성한다.
• 최종적으로 각 다각형 면에 정제된 DSM의 고도 값을 할당하여 기하학적 일관성과 위상적 정확성을 확보함으로써 3D 모델을 생성한다.

실험 결과

연구 질문

• RQ1 CBAM 주의 모듈을 갖춘 딥러닝 기반 cGAN은 사진측량 DSM의 품질을 햖थ하나, 건물 재구성에 기여하는가?
• RQ2 공유 아키텍처의 세분화 네트워크는 정제된 DSM 및 PAN 이미지 입력에서 지붕 가장자리 및 모서리를 얼마나 효과적으로 검출하는가?
• RQ3 새로운 벡터화 파이프라인은 검출된 가장자리 및 모서리를 기반으로 3D 건물 지붕 다각형을 정확히 재구성할 수 있는가?
• RQ4 정제된 DSM 고도 데이터를 벡터화된 2D 다각형에 통합할 경우, 최종 3D LoD-2 모델의 정확도에 어떤 영향을 미치는가?
• RQ5 기하학적 정확도와 완전성 측면에서 기존의 하이브리드 및 데이터 기반 접근법에 비해 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 cGAN에 CBAM 주의 모듈을 적용함으로써 DSM 노이즈가 감소하고 건물 형태 정교화가 향상되었으며, 민우니히 테스트 지역에서 산개고도의 평균 절대 높이 차이(|ΔH|)는 0.74 m, 낙엽고도는 0.99 m를 기록했다.
• 가장자리 및 모서리 검출 네트워크는 높은 정밀도를 보였으며, 기준값 대비 평균 평면 방향 오차가 10° 이내였고, 원시 사진측량 DSM에 비해 현저히 뛰어난 성능을 보였다.
• 벡터화 파이프라인은 베를린 테스트 지역에서 재구성 재현율(recall) 점수 0.81을 기록하여 일부 구성 요소가 누락된 상황에서도 강건성을 입증했다.
• 대규모 위성 영상에서 최신 기술 수준의 성능을 달성하였으며, Partovi 등 [24]의 이전 하이브리드 방법에 비해 고도 정확도 및 모델 완전성 측면에서 뛰어난 성능을 보였다.
• 전반적인 고도 예측 RMSE는 산개고도 기준 0.74 m, 낙엽고도 기준 1.54 m였으며, NMAD 값은 각각 0.59 및 0.68로 참조 데이터와의 일관성과 낮은 분산을 나타내었다.
• 개선에도 불구하고, 모델 재구성의 완전성이 떨어지며, 정제된 DSM에서의 재현율 0.88에서 벡터화 모델에서의 재현율 0.81로 감소함으로써 모든 건물 구성 요소를 포착하는 데 어려움이 있음을 시사한다.