[논문 리뷰] Segmentation of Satellite Imagery using U-Net Models for Land Cover Classification

Priit Ulmas, Innar Liiv|arXiv (Cornell University)|2020. 03. 05.

Remote-Sensing Image Classification참고 문헌 19인용 수 59

한 줄 요약

본 연구는 BigEarthNet에서 ResNet50 기반 지 및 분류기를 학습한 후 해당 가중치를 수정된 U-Net의 사전 학습 인코더로 사용하여 Sentinel-2 영상으로부터 픽셀 수준의 토지 피복 맵을 생성하고, CORINE 수준 전반에 걸쳐 강력한 F1 및 세분화 정확도를 달성한다.

ABSTRACT

The focus of this paper is using a convolutional machine learning model with a modified U-Net structure for creating land cover classification mapping based on satellite imagery. The aim of the research is to train and test convolutional models for automatic land cover mapping and to assess their usability in increasing land cover mapping accuracy and change detection. To solve these tasks, authors prepared a dataset and trained machine learning models for land cover classification and semantic segmentation from satellite images. The results were analysed on three different land classification levels. BigEarthNet satellite image archive was selected for the research as one of two main datasets. This novel and recent dataset was published in 2019 and includes Sentinel-2 satellite photos from 10 European countries made in 2017 and 2018. As a second dataset the authors composed an original set containing a Sentinel-2 image and a CORINE land cover map of Estonia. The developed classification model shows a high overall F extsubscript{1} score of 0.749 on multiclass land cover classification with 43 possible image labels. The model also highlights noisy data in the BigEarthNet dataset, where images seem to have incorrect labels. The segmentation models offer a solution for generating automatic land cover mappings based on Sentinel-2 satellite images and show a high IoU score for land cover classes such as forests, inland waters and arable land. The models show a capability of increasing the accuracy of existing land classification maps and in land cover change detection.

연구 동기 및 목표

• 위성 이미지에서 자동화된 픽셀 수준 토지 피복 매핑을 동원 환경 모니터링 및 변화 탐지를 지원하기 위한 동기를 부여한다.
• BigEarthNet를 사용하여 위성 이미지 특징을 학습하는 대규모 분류 모델을 생성한다.
• 전이 학습을 활용하여 분류 모델을 수정된 U-Net의 인코더로 사용해 세분화를 수행한다.
• 데이터 노이즈 효과를 분석하고 CORINE 기반 데이터세트에서 세분화 성능을 평가한다.

제안 방법

• ImageNet에서 사전 학습된 ResNet50를 사용하여 BigEarthNet 데이터를 통한 세 가지 토지 피복 분류 수준을 수행한다.
• 두 단계(동결 후 비동결)로 분류 모델을 총 15 에포크 학습한다.
• 인코더가 사전 학습된 ResNet50 분류기인 수정된 U-Net을 채택하고, 작은 CORINE+Sentinel-2 세분화 데이터셋에서 학습한다.
• 데이터세트를 80/20의 학습/검증으로 분할하고, 먼저 디코더를 학습한 뒤 전체 네트워크를 미세 조정하여 세분화를 학습한다.
• 정확 일치 비율(Exact Match Ratio), 정밀도(Precision), 재현율(Recall), F1을 분류에 사용하고, 전체 정확도와 제곱합(Jaccard)을 세분화에 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 BigEarthNet에서 학습된 대규모 위성 이미지 분류기가 CORINE 파생 데이터세트에서 픽셀 수준의 토지 피복 세분화로 효과적으로 전이될 수 있는가?
• RQ2 사전 학습된 인코더를 U-Net 아키텍처에서 사용했을 때 CORINE 분류 수준(level 1–3) 간 세분화 성능은 어떻게 달라지는가?
• RQ3 데이터 노이즈 및 라벨 정확도(BigEarthNet 및 CORINE)가 분류 및 세분화 결과에 미치는 영향은 무엇인가?

주요 결과

• 분류는 높은 전반적 F1을 달성: Level 1 F1 = 0.920, Level 2 F1 = 0.823, Level 3 F1 = 0.749.
• 정확 일치 비율은 수준이 높아질수록 감소: Level 1 MR = 75.3%, Level 2 MR = 45.9%, Level 3 MR = 33.1%.
• 세분화 정확도는 Level 1에서 91.4%로 높고, Level 2에서 75.8%, Level 3에서 59.7%로 감소한다.
• 클래스별 결과는 삼림, 농업 지역, 수역에서 가장 우수한 성능을 보여주고, 더 높은 수준에서 습지 및 산업 지역의 성능은 약하다.
• 분석은 BigEarthNet 및 CORINE 데이터의 라벨 노이즈가 세분화/분류 오차에 기여함을 보여주며, 클래스 간 시각적 구분도 성능에 영향을 미친다.