[논문 리뷰] A Semantic Segmentation Network for Urban-Scale Building Footprint Extraction Using RGB Satellite Imagery

Aatif Jiwani, Shubhrakanti Ganguly외 3명|arXiv (Cornell University)|2021. 04. 02.

Automated Road and Building Extraction인용 수 15

한 줄 요약

이 논문은 도시 규모에서 고정밀도 RGB 전용 건물 외곽선 세분화를 위해 확장된 Res-Net 백본을 갖춘 수정된 DeepLabV3+ 네트워크를 제안한다. 클래스 불균형을 해결하기 위해 F-Beta 손실을 통합하고, 인접한 건물 간의 분리도 향상하기 위해 지수 가중 경계 손실을 도입함으로써, 세 가지 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하며, 해상도, 스케일, 도시 밀도 변화에 대해 뛰어난 시각적 품질과 강인성을 확보한다.

ABSTRACT

Urban areas consume over two-thirds of the world's energy and account for more than 70 percent of global CO2 emissions. As stated in IPCC's Global Warming of 1.5C report, achieving carbon neutrality by 2050 requires a clear understanding of urban geometry. High-quality building footprint generation from satellite images can accelerate this predictive process and empower municipal decision-making at scale. However, previous Deep Learning-based approaches face consequential issues such as scale invariance and defective footprints, partly due to ever-present class-wise imbalance. Additionally, most approaches require supplemental data such as point cloud data, building height information, and multi-band imagery - which has limited availability and are tedious to produce. In this paper, we propose a modified DeeplabV3+ module with a Dilated Res-Net backbone to generate masks of building footprints from three-channel RGB satellite imagery only. Furthermore, we introduce an F-Beta measure in our objective function to help the model account for skewed class distributions and prevent false-positive footprints. In addition to F-Beta, we incorporate an exponentially weighted boundary loss and use a cross-dataset training strategy to further increase the quality of predictions. As a result, we achieve state-of-the-art performances across three public benchmarks and demonstrate that our RGB-only method produces higher quality visual results and is agnostic to the scale, resolution, and urban density of satellite imagery.

연구 동기 및 목표

• LiDAR나 다중 스펙트럼 영상과 같은 보조 데이터가 필요 없이 RGB 위성 영상에서 정확한 건물 외곽선을 추출할 수 있는 딥러닝 모델을 개발하는 것.
• 특히 잘못된 양성 예측과 결합된 외곽선 예측이 빈번하게 발생하는 건물 세분화에서의 클래스 불균형 문제를 해결하는 것.
• 새로운 손실 함수 설계를 통해 밀집된 도시 지역에서 인접한 건물 간의 분리를 향상시키는 것.
• 다양한 위성 영상 특성(스케일, 해상도, 도시 밀도 등)에 걸쳐 공개 벤치마크에서 최신 기술 수준의 성능를 달성하면서도 강인성을 유지하는 것.
• 희귀하거나 비용이 많이 드는 데이터 소스에 의존도를 줄임으로써, 전 세계적으로 적용 가능한 도시 계획 및 에너지 모델링을 가능하게 하는 것.

제안 방법

• 세 채널 RGB 위성 영상을 처리하기 위해 수정된 DeepLabV3+ 아키텍처를 사용하며, 이는 Dilated Res-Net 백본을 활용한다.
• 건물 외곽선 세분화에서 클래스 불균형의 영향을 완화하기 위해 정밀도를 우선시하는 F-Beta 손실 함수를 목적 함수에 통합한다.
• 건물 경계선에서의 잘못된 예측에 대해 보상하는 지수 가중 경계 손실(EWC)을 도입하여 인접한 구조물 간의 분리를 향상시킨다.
• 다양한 도시 환경과 영상 특성에 대한 일반화 능력을 향상시키기 위해 교차 데이터셋 학습 전략을 적용한다.
• F-Beta 손실과 EWC 손실을 병행 사용함으로써 정밀도와 재현율 간의 더 나은 트레이드오���을 달성하고, 잘못된 양성 예측과 결합된 예측을 줄인다.
• 전체 해상도 위성 영상에서 엔드 투 엔드로 모델 추론을 수행하여 픽셀 단위의 건물 외곽선 마스크를 생성한다.

실험 결과

연구 질문

• RQ1 LiDAR, 고도 데이터, 또는 다중 스펙트럼 입력이 필요 없이 RGB 위성 영상만으로도 최신 기술 수준의 건물 외곽선 세분화 성능를 달성할 수 있는가?
• RQ2 심한 클래스 불균형 하에서 F-Beta 손실 함수는 잘못된 양성 예측을 줄이는 데 어떻게 성능을 향상시키는가?
• RQ3 지수 가중 경계 손실은 밀집된 도시 지역에서 인접한 건물 간의 분리에 얼마나 기여하는가?
• RQ4 교차 데이터셋 학습은 다양한 도시 환경과 영상 해상도 간의 모델 일반화 능력을 향상시키는가?
• RQ5 제안된 방법은 여러 벤치마크에서 결합된 예측과 희박한 잘못된 양성 예측을 줄이며 높은 정밀도와 mIOU 성능를 유지할 수 있는가?

주요 결과

• 제안된 방법은 SpaceNet, Urban3D, AICrowd의 세 가지 공개 벤치마크에서 최신 기술 수준의 성능를 달성하며, 개선된 평균 교차율(mIOU)과 F-1 스코어를 확보한다.
• F-Beta 손실에서 β = 0.1을 사용할 경우 F-1 스코어와 mIOU가 최고로 높아져, 건물 외곽선 세분화에서 정밀도가 재현율보다 더 중요하다는 것을 입증한다.
• F-Beta 손실과 지수 가중 경계 손실(EWC)의 조합은 기준 손실 대비 결합된 예측과 잘못된 양성 예측을 크게 감소시킨다.
• 교차 데이터셋 학습은 Urban3D와 SpaceNet에서 성능 향상을 이끌었지만, AICrowd에선 제한적인 성과를 보이며 데이터셋 특유의 변동성이 전이 가능성에 영향을 준다는 것을 시사한다.
• 시각적 결과에서는 최종 모델이 더 깔끔하고 명확한 외곽선을 생성하며, 특히 밀도가 높은 지역에서 인접한 건물 간의 분리가 뛰어나다는 점을 확인할 수 있다.
• 모델는 다양한 스케일, 해상도, 도시 밀도에 걸쳐 강력한 일반화 능력을 보이며, 실제 도시 응용 분야에서의 강인성과 실용성을 확인한다.