[논문 리뷰] SpaceNet 6: Multi-Sensor All Weather Mapping Dataset

Jacob Shermeyer, David B. Hogan외 9명|arXiv (Cornell University)|2020. 04. 14.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 13

한 줄 요약

이 논문은 고해상도(1m 미만 GSD) SAR 및 옵티컬 영상 120 km², 건물 외곽선 48,000개가 포함된 다중 센서 전천후 지도 제작(MSAW) 데이터셋인 SpaceNet 6를 소개한다. 옵티컬 사전 훈련을 통한 전이 학습이 순수히 SAR 데이터로 훈련하는 것에 비해 건물 외곽선 세분화 성능을 크게 향상시켜 F₁ = 0.21을 달성한 반면, 순수 SAR 훈련 시 F₁ = 0.135를 기록함으로써, 전천후 지구정보 분석에서 다중 모odal 데이터의 가치를 입증한다.

ABSTRACT

Within the remote sensing domain, a diverse set of acquisition modalities exist, each with their own unique strengths and weaknesses. Yet, most of the current literature and open datasets only deal with electro-optical (optical) data for different detection and segmentation tasks at high spatial resolutions. optical data is often the preferred choice for geospatial applications, but requires clear skies and little cloud cover to work well. Conversely, Synthetic Aperture Radar (SAR) sensors have the unique capability to penetrate clouds and collect during all weather, day and night conditions. Consequently, SAR data are particularly valuable in the quest to aid disaster response, when weather and cloud cover can obstruct traditional optical sensors. Despite all of these advantages, there is little open data available to researchers to explore the effectiveness of SAR for such applications, particularly at very-high spatial resolutions, i.e. <1m Ground Sample Distance (GSD). To address this problem, we present an open Multi-Sensor All Weather Mapping (MSAW) dataset and challenge, which features two collection modalities (both SAR and optical). The dataset and challenge focus on mapping and building footprint extraction using a combination of these data sources. MSAW covers 120 km^2 over multiple overlapping collects and is annotated with over 48,000 unique building footprints labels, enabling the creation and evaluation of mapping algorithms for multi-modal data. We present a baseline and benchmark for building footprint extraction with SAR data and find that state-of-the-art segmentation models pre-trained on optical data, and then trained on SAR (F1 score of 0.21) outperform those trained on SAR data alone (F1 score of 0.135).

연구 동기 및 목표

• 다중 모달 지구정보 분석을 위한 개방형 고해상도 SAR 및 옵티컬 데이터셋의 부족을 해결하기 위해.
• 합성(aperture) 레이더(SAR) 및 옵티컬 데이터를 활용한 전천후 건물 외곽선 추출 연구를 가능하게 하기 위해.
• 어려운 실제 위성 영상 조건에서 다중 모달 세분화 모델 평가를 위한 벤치마크를 제공하기 위해.
• 지속적인 구름에 의한 영향을 고려한 복구 지도 제작 연구를 지원하기 위해.

제안 방법

• MSAW 데이터셋은 다수의 위치에서 수집된 120 km²의 겹치는 SAR 및 옵티컬 위성 영상으로 구성되어 있다.
• 건물 외곽선은 고정밀 라이다 기반 고도 추정치를 사용하여 주로 기하학적 일관성과 객체 수준의 레이블링을 확보하였다.
• 기본 세분화 모델은 전이 학습을 통해 훈련되었으며, 옵티컬 데이터에서 사전 훈련한 후 SAR 데이터에서 미세 조정하였다.
• SAR 영상에는 세 가지 편광 방식(HH, VV, HV)이 포함되어 있으며, 향상된 특징 인식을 위해 RGB 복합 이미지로 시각화되었다.
• 성능 평가는 F₁ 점수, IoU, 재현율을 사용하였으며, 건물 크기 및 높이에 따라 분류된 분석을 실시하였다.
• 건물 특성(면적, 높이, 부피)이 세분화 IoU 점수에 미치는 영향을 평가하기 위해 랜덤 포레스트 모델을 사용하였다.

Figure 1: Building footprints outlined in red overlaid upon visualized SAR Intensity with three polarizations (HH, VV, HV) displayed through the Red, Green, and Blue color channels.

실험 결과

연구 질문

• RQ1 옵티컬 데이터에서의 전이 학습이 고해상도 SAR 영상에서의 건물 외곽선 세분화 성능을 유의미하게 향상시키는가?
• RQ2 건물 크기 및 높이는 SAR 영상에서 구조물의 탐지 가능성에 어떤 영향을 미치는가?
• RQ3 레이어오버 및 전면 수축과 같은 기하학적 왜곡이 더 높은 건물의 세분화 성능을 얼마나 떨어뜨리는가?
• RQ4 건물 특성(예: 면적, 높이, 부피)이 SAR 데이터에서 세분화 모델 성능(IoU)에 얼마나 예측 가능한가?
• RQ5 단일 모달(SAR 전용) 훈련과 다중 모달(SAR + 옵티컬) 훈련 간의 건물 외곽선 추출 성능 격차는 어느 정도인가?

주요 결과

• 옵티컬 사전 훈련을 통한 전이 학습이 SAR 데이터에 적용된 결과 F₁ 점수가 0.21을 기록하였으며, 순수히 SAR 데이터로 훈련한 경우(F₁ = 0.135)에 비해 55% 향상된 성과를 보였다.
• 건물 외곽선 탐지 재현율은 약 100 m²에서 0.1로 감소하여, 작은 건물은 SAR 영상에서 거의 탐지되지 않는다는 것을 시사한다.
• 크기가 큰 건물에서는 재현율이 0.5에 도달하여 성능이 정체되지만, 높이가 20m를 초과하는 건물에서는 레이어오버 등의 기하학적 왜곡으로 인해 성능이 저하된다.
• 평균 면적이 1,400 m²에 이르는 30m 이상의 높이 건물들 역시 평균 재현율이 0.2 미만에 머무르며 레이더 특유의 왜곡 영향이 뚜렷하다는 것을 확인하였다.
• 건물 높이는 기준 모델에서 명시적으로 사용되지 않았음에도 불구하고, 면적 및 왜곡 효과와의 강한 상관관계로 인해 세분화 IoU에 가장 예측 가능한 특성(기여도 = 0.39)으로 나타났다.
• 랜덤 포레스트 모델은 건물 특성에서 IoU를 예측할 때 R² = 0.91을 달성하여, 크기 및 높이가 세분화 난이도에 강력한 지표임을 확인하였다.

Figure 2: Examples of layover in urban SAR imagery. In this detail of Rotterdam, there is land to the north (top) and water to the south (bottom). This image was recorded by aircraft from the south. The three skyscrapers near the riverbank appear to jut into the water because of layover.