[논문 리뷰] Embedding Earth: Self-supervised contrastive pre-training for dense land cover classification

Michail Tarasiou, Stefanos Zafeiriou|arXiv (Cornell University)|2022. 03. 11.

Remote-Sensing Image Classification인용 수 6

한 줄 요약

이 논문은 광범위한 레이블이 없는 위성 영상 데이터를 활용하여 밀도 높은 지표면 피복 분류를 위한 자기지도 학습 대비 학습 방법인 Embedding Earth를 소개한다. 다양한 글로벌 지역에서 사전 훈련한 방식은 레이블이 부족한 경우 특히, 하위 작업에서 평균 교차율(mIoU)을 최대 25%p 향상시키며, 지리적으로 다를 수 있는 지역 간 강력한 일반화 능력을 입증한다.

ABSTRACT

In training machine learning models for land cover semantic segmentation there is a stark contrast between the availability of satellite imagery to be used as inputs and ground truth data to enable supervised learning. While thousands of new satellite images become freely available on a daily basis, getting ground truth data is still very challenging, time consuming and costly. In this paper we present Embedding Earth a self-supervised contrastive pre-training method for leveraging the large availability of satellite imagery to improve performance on downstream dense land cover classification tasks. Performing an extensive experimental evaluation spanning four countries and two continents we use models pre-trained with our proposed method as initialization points for supervised land cover semantic segmentation and observe significant improvements up to 25% absolute mIoU. In every case tested we outperform random initialization, especially so when ground truth data are scarse. Through a series of ablation studies we explore the qualities of the proposed approach and find that learnt features can generalize between disparate regions opening up the possibility of using the proposed pre-training scheme as a replacement to random initialization for Earth observation tasks. Code will be uploaded soon at https://github.com/michaeltrs/DeepSatModels.

연구 동기 및 목표

• 지표면 피복 분할을 위한 풍부한 위성 영상과 비용이 많이 들고 제한된 지상 진술 레이블 간의 극심한 불균형을 해결한다.
• 대규모 레이블이 없는 지구 관측 데이터를 활용하여 하위 작업의 분할 성능을 향상시키는 자기지도 학습 프레임워크를 개발한다.
• 다른 지역에서 사전 훈련한 것이 하위 작업의 성능에 영향을 주는지 여부를 조사한다.
• 사전 훈련 데이터의 규모—공간적(관심 영역, AOI) 및 시간적(관심 기간, POI)—이 하위 작업 성능에 미치는 영향을 평가한다.
• 자기지도 학습 사전 훈련이 랜덤 초기화보다 우수하며, 특히 데이터가 적은 환경에서 보다 실용적인 대안이 되는지 입증한다.

제안 방법

• 위성 영상 데이터를 활용하여 픽셀 수준의 표현 학습을 위한 종단간 자기지도 대비 학습 프레임워크를 설계한다.
• 동일한 영상 패치의 양성 및 부정성 시각을 대비하여 특징의 불변성을 확보하기 위해 인스턴스 식별 및 대비 손실을 적용한다.
• 다양한 글로벌 지역에서의 대규모 레이블이 없는 위성 데이터를 기반으로 컨volutional 신경망(예: ResNet 기반 인코더)을 사전 훈련한다.
• 제한된 레이블이 있는 데이터를 사용하여 하위 작업인 지표면 세분화에 대해 사전 훈련된 인코더를 미세 조정한다.
• 랜덤 크롭, 색상 왜곡, 회전 등의 데이터 증강 전략을 활용하여 대비 학습을 위한 양성 및 부정성 시각을 생성한다.
• 동일한 패치의 시각 간 일치를 극대화하고, 다른 패치의 시각 간 거리를 최소화하는 대비 목표를 사용하여 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 대규모 레이블이 없는 위성 영상 데이터를 기반으로 한 자기지도 대비 학습 사전 훈련이 하위 작업의 밀도 높은 지표면 피복 분할 성능을 크게 향상시킬 수 있는가?
• RQ2 사전 훈련 데이터의 규모(관심 영역, AOI 및 관심 기간, POI 기준)가 하위 작업의 mIoU에 어떤 영향을 미치는가?
• RQ3 하위 작업과 다른 지리적 지역에서 사전 훈련을 수행하면 성능 저하 또는 일반화 이점이 발생하는가?
• RQ4 제안된 방법이 데이터가 적은 환경에서 랜덤 초기화 및 감독 기반 사전 훈련과 비교해 어떻게 성능을 냅니다?
• RQ5 학습된 특징이 다양한 지표면 유형과 지리적 지역 간에서 일반화되어 대륙 간 전이 학습을 가능하게 하는가?

주요 결과

• 제안된 자기지도 대비 사전 훈련 방법은 무작위 초기화 대비 하위 작업의 평균 교차율(mIoU)에서 최대 25%p의 절대적 향상을 달성한다.
• 학습 데이터가 제한된 경우 성능 향상이 가장 두드러지며, 이는 본 방법이 데이터가 적은 환경에서 효과적임을 입증한다.
• 사전 훈련 데이터 세트의 크기를 늘일수록(관심 영역(AOI) 또는 관심 기간(POI)을 확장함으로써) 하위 작업의 세분화 성능 향상이 일관되게 발생한다.
• 하위 작업과 다른 국가나 지역에서 사전 훈련을 수행하더라도 성능 저하가 발생하지 않으며, 오히려 잘 일반화됨을 보여주어 강력한 지역 간 전이 가능성의 잠재력을 입증한다.
• 모든 평가된 지역(독일, 프랑스, 가나, 남수단)에서 랜덤 초기화 및 감독 기반 사전 훈련 기반선보다 본 방법이 뛰어난 성능을 보인다.
• 제거 실험을 통해 대비 목표가 레이블 없이도 의미 있는, 전이 가능한 특징을 효과적으로 학습함을 확인한다.