[논문 리뷰] High-Resolution Building and Road Detection from Sentinel-2

Wojciech Sirko, Emmanuel Asiedu Brempong외 10명|arXiv (Cornell University)|2023. 10. 17.

Automated Road and Building Extraction인용 수 14

한 줄 요약

논문은 10 m 해상도의 Sentinel-2 영상 스택 10장을 이용해 고해상도 교사 모델을 모방하여 50 cm 건물/도로 분할을 예측하도록 학생 모델을 학습시키고, 건물에 대해 78.3% mIoU(교사 85.3% 대비)를 달성하며 건물 개수도 R2=0.91로 예측합니다.

ABSTRACT

Mapping buildings and roads automatically with remote sensing typically requires high-resolution imagery, which is expensive to obtain and often sparsely available. In this work we demonstrate how multiple 10 m resolution Sentinel-2 images can be used to generate 50 cm resolution building and road segmentation masks. This is done by training a `student' model with access to Sentinel-2 images to reproduce the predictions of a `teacher' model which has access to corresponding high-resolution imagery. While the predictions do not have all the fine detail of the teacher model, we find that we are able to retain much of the performance: for building segmentation we achieve 79.0\% mIoU, compared to the high-resolution teacher model accuracy of 85.5\% mIoU. We also describe two related methods that work on Sentinel-2 imagery: one for counting individual buildings which achieves $R^2 = 0.91$ against true counts and one for predicting building height with 1.5 meter mean absolute error. This work opens up new possibilities for using freely available Sentinel-2 imagery for a range of tasks that previously could only be done with high-resolution satellite imagery.

연구 동기 및 목표

• 비용이 큰 고해상도 이미지에 의존하지 않고도 건물 및 도로의 대규모 맵핑을 가능하게 하는 접근 가능성 제고.
• 저해상도 Sentinel-2 스택에서 고해상도 예측을 학습하는 엔드투엔드 프레임워크 개발.
• 50 cm 이미징에서 학습된 교사 모델을 활용해 Sentinel-2 입력을 사용한 학생 모델을 감독.
• 패치 단위의 건물 개수를 중심점 예측을 통해 근사하는 방법으로 개수 산출 가능.
• Sentinel-2 기반 분석 역량 확장을 통해 Open Buildings 데이터셋 개발에 기여.

제안 방법

• 교사-학생 설정을 사용하여 교사는 50 cm 이미지를 다루고 학생은 10 m 해상도의 Sentinel-2 프레임 스택을 받아 고해상도 의미론적 마스크를 예측합니다.
• HRNet을 기반으로 한 인코더–디코더 아키텍처를 사용하며 LR 입력에 대해 더 높은 공간 해상도를 보존하도록 첫 번째 블록을 적응합니다.
• 잔차 구성에서 교차-시간 깊이별 합성을 통해 32 프레임의 Sentinel-2 정보를 융합하여 시간적 단서를 포착합니다.
• 건물 분할, 도로 분할, 건물 중심점(개수 추정), 정합을 돕는 초해상 회색조 이미지를 출력하는 다중 작업 모델을 학습합니다.
• 레이블을 모델 출력에 맞춰 번역 검색(translational search)으로 정렬하는 정렬 단계와 함께 픽셀당 Kullback–Leibler 발산 손실을 사용합니다; 50 cm 목표에 도달하기 위한 업샘플링 기반 디코더를 포함합니다.
• 정확한 개수 산출을 위해 중심점 기반 카운팅 접근법으로 각 타일의 중앙점 채널 출력을 합산하고 스케일링하여 타일 수를 도출합니다.

Figure 1: Example operation of our model, where multiple frames of low-resolution Sentinel-2 imagery are used to make a single frame of high-resolution predictions for a variety of output types. A high-resolution image of the same scene is shown for comparison.

실험 결과

연구 질문

• RQ1 10 m 해상도 Sentinel-2 스택으로 50 cm 건물 및 도로의 의미론적 마스크를 예측할 수 있는가?
• RQ2 Sentinel-2 기반 예측이 mIoU 및 공간적 상세도에서 고해상도 교사 모델에 얼마나 근접할 수 있는가?
• RQ3 Sentinel-2 예측으로 건물 개수 산출이 가능한가, 실제 개수와 비교하면 어떤가?
• RQ4 시간 프레임 구성 및 짝짓기 전략이 다운스트림 분할 성능에 어떤 영향을 미치는가?
• RQ5 입출력/레이블 해상도가 성능에 미치는 영향은 무엇이며 Sentinel-2 기반 개수 산출이 스케일 간 어떻게 작동하는가?

주요 결과

• 건물 분할은 Sentinel-2 감독으로 78.3% mIoU를 달성하며 고해상도 교사에 비해 85.3%의 mIoU를 기록합니다.
• 건물 개수 예측은 실제 개수에 대해 R2 = 0.91를 달성하여 교사 기준선인 R2 = 0.95와 근접합니다.
• 4 m 입력 해상도는 4 m 데이터로 학습된 단일 프레임 고해상도 모델과 비슷한 성능을 보이며, 최상의 Sentinel-2 기반 모델은 50 cm 출력에서 눈에 띄는 정확도를 달성합니다.
• 프레임 수가 늘어나면 성능이 향상되며, 32 프레임 스택은 건물에 대해 단일 프레임 설정보다 약 5% 포인트의 mIoU 차이로 우수합니다.
• 각 프레임을 교사의 라벨과 가장 최근 프레임인 17번째 프레임과 페어링하면 페어링 없이보다 큰 향상을 보이며, 교차 시간 융합은 결과를 더 향상시킵니다.
• 학습 규모가 중요합니다: 학습 데이터를 1%에서 100%로 증가시키면 32 프레임에서 건물 mIoU가 69.1에서 76.6으로 향상됩니다.

Figure 2: Examples of building and road detection from Sentinel-2 imagery, each covering an area of $192^{2}$ m 2 . The panels on the left show high-resolution satellite imagery of the scene for comparison; although Sentinel-2 imagery has much lower level of detail in each frame, we are able to pred