[논문 리뷰] CG-Net: Conditional GIS-aware Network for Individual Building Segmentation in VHR SAR Images

Yao Sun, Yuansheng Hua외 2명|arXiv (Cornell University)|2020. 11. 17.

Automated Road and Building Extraction참고 문헌 72인용 수 45

한 줄 요약

이 논문은 매우 고해상도(VHR) SAR 영상에서 개별 건물 세분화를 햖을 때 건물 외곽선을 GIS 데이터에서 유도한 정보를 조건부로 사용하는 조건부 GIS 인식 딥러닝 프레임워크인 CG-Net을 제안한다. GIS에서 유도된 외곽선을 특징 정규화에 조건부로 적용함으로써, 베를린의 TerraSAR-X 영상에서 F1 스코어 75.08%를 기록하여 최신 기술 수준의 성능을 달성하였으며, GIS 위치 오차에 대해서도 강건성을 보이며 SAR 데이터로부터 정확한 3D LoD1 건물 모델 재구성도 가능하게 한다.

ABSTRACT

Object retrieval and reconstruction from very high resolution (VHR) synthetic aperture radar (SAR) images are of great importance for urban SAR applications, yet highly challenging owing to the complexity of SAR data. This paper addresses the issue of individual building segmentation from a single VHR SAR image in large-scale urban areas. To achieve this, we introduce building footprints from GIS data as complementary information and propose a novel conditional GIS-aware network (CG-Net). The proposed model learns multi-level visual features and employs building footprints to normalize the features for predicting building masks in the SAR image. We validate our method using a high resolution spotlight TerraSAR-X image collected over Berlin. Experimental results show that the proposed CG-Net effectively brings improvements with variant backbones. We further compare two representations of building footprints, namely complete building footprints and sensor-visible footprint segments, for our task, and conclude that the use of the former leads to better segmentation results. Moreover, we investigate the impact of inaccurate GIS data on our CG-Net, and this study shows that CG-Net is robust against positioning errors in GIS data. In addition, we propose an approach of ground truth generation of buildings from an accurate digital elevation model (DEM), which can be used to generate large-scale SAR image datasets. The segmentation results can be applied to reconstruct 3D building models at level-of-detail (LoD) 1, which is demonstrated in our experiments.

연구 동기 및 목표

• 레이어오버와 그림자로 인해 심각한 겹침과 모호성이 발생하는 대규모 VHR SAR 영상에서 개별 건물 세분화 문제를 해결하기 위해.
• 보완적인 GIS 건물 외곽선 데이터를 조건부 지도로 통합하여 세분화 정확도를 향상시키기 위해.
• 완전한 외곽선과 센서로 볼 수 있는 부분만 있는 세그먼트라는 두 가지 다른 GIS 외곽선 표현 방식이 세분화 성능에 미치는 영향을 평가하기 위해.
• 오픈소스 GIS 데이터(예: OpenStreetMap)에서 흔히 볼 수 있는 위치 오차와 같은 현실적인 GIS 데이터 오류 상황에서의 방법의 강건성 평가하기 위해.
• SAR 데이터로부터 3D LoD1 건물 모델을 재구성하기 위해 세분화 결과를 효과적으로 활용할 수 있는지 보여주기 위해.

제안 방법

• CG-Net은 U-Net 스타일의 인코더-디코더 네트워크에서 특징 정규화를 조건부로 하는 모듈을 사용하여, GIS에서 유도된 건물 외곽선을 기반으로 특징 학습을 이끌어낸다.
• 심층 CNN 기반(예: DeepLabv3+)의 다중 수준 시각적 특징과 공간적으로 정렬된 GIS 외곽선 데이터를 융합하여 세분화 마스크를 정밀하게 개선한다.
• 고해상도 DEM 데이터를 사용하여 자동으로 정확한 건물 마스크를 생성하는 새로운 지도 데이터 생성 파이프라인을 개발하여 대규모 SAR 데이터셋 제작을 가능하게 한다.
• SAR 패치와 해당하는 GIS 외곽선을 함께 사용하여 모델을 훈련하며, IoU와 F1 스코어 최적화를 위한 손실 함수를 적용한다.
• 완전한 건물 외곽선뿐 아니라 부분적으로만 센서로 볼 수 있는 외곽선 세그먼트도 입력으로 수용하여 데이터 가용성에 유연성을 제공한다.
• 3D LoD1 모델은 레이저 범위 방향의 레이어오버 길이를 이용해 건물 높이를 추정함으로써 재구성되며, 공식 h = l / cosθ를 사용한다.

실험 결과

연구 질문

• RQ1 순수하게 데이터 기반 방법에 비해 GIS에서 유도된 건물 외곽선이 VHR SAR 영상에서 개별 건물 세분화에 상당한 향상을 이끌 수 있는가?
• RQ2 완전한 외곽선과 센서로 볼 수 있는 세그먼트 중 어느 표현 방식이 더 높은 세분화 성능을 낼 수 있는가?
• RQ3 OpenStreetMap와 같은 오픈소스 GIS 데이터에서 흔히 발생하는 위치 오차에 대해 제안된 CG-Net의 강건성은 어떠한가?
• RQ4 세분화 결과는 SAR 데이터로부터 LoD1 수준의 3D 건물 모델 재구성에 효과적으로 활용될 수 있는가?
• RQ5 SAR에서 유도된 레이어오버 영역으로부터 건물 높이 추정의 가능 정확도는 얼마인가?

주요 결과

• CG-Net은 베를린의 TerraSAR-X 데이터셋에서 최신 기술 수준의 F1 스코어 75.08%를 기록하여 기준 모델들을 능가한다.
• 완전한 건물 외곽선을 입력으로 사용할 경우, 뿌리가 없는 센서로 볼 수 있는 부분만 있는 세그먼트를 사용할 때보다 유의미하게 높은 세분화 성능을 보이며, IoU에서 4.5% 향상되었다.
• GIS 위치 오차에 대해서도 모델은 강건성을 유지하며, 외곽선에 최대 10m 오차가 있을 경우에도 성능 저하가 최소화되어 F1 스코어가 3.62% 감소하는 것으로 확인되었다.
• 고해상도 DEM의 진짜 값과 비교했을 때 LoD1 재구성에서 평균 건물 높이 오차는 2.39미터였다.
• DEM를 활용한 지도 데이터 생성 방법은 대규모 SAR 영상에 대해 확장 가능하고 정확한 애너테이션을 가능하게 하여 딥러닝 모델 훈련에 기여한다.
• 시각적 결과는 레이어오버 영역이 큰 건물(사진에서 보이는 바와 같이)은 고층 건물로 정확히 식별되며, 레이어오버 영역이 작은 건물들은 저층 건물로 재구성됨을 확인했으며, 실제 기하학적 구조와 일치한다.