[논문 리뷰] Evaluating Self and Semi-Supervised Methods for Remote Sensing Segmentation Tasks

Chaitanya Patel, Shashank Sharma외 2명|arXiv (Cornell University)|2021. 11. 19.

Advanced Image and Video Retrieval Techniques인용 수 9

한 줄 요약

이 논문은 릴리즈된 위성 영상의 레이블이 없는 데이터를 활용하여 수문학적 강저, 토양 피복, 홍수 맵핑의 세 가지 작업에 대해 자기지도학습(SimCLR) 및 준지도학습(FixMatch) 방법을 평가한다. 두 방법 모두 레이블이 적은 조건과 도메인 이동 조건에서 모델의 일반화 능력을 크게 향상시키며, 특히 새로운 지리적 지역에서 테스트할 경우 레이블이 제한된 데이터에서 FixMatch가 최대 6.0%의 절대 IoU 향상을 보였다.

ABSTRACT

Self- and semi-supervised machine learning techniques leverage unlabeled data for improving downstream task performance. These methods are especially valuable for remote sensing tasks where producing labeled ground truth datasets can be prohibitively expensive but there is easy access to a wealth of unlabeled imagery. We perform a rigorous evaluation of SimCLR, a self-supervised method, and FixMatch, a semi-supervised method, on three remote sensing tasks: riverbed segmentation, land cover mapping, and flood mapping. We quantify performance improvements on these remote sensing segmentation tasks when additional imagery outside of the original supervised dataset is made available for training. We also design experiments to test the effectiveness of these techniques when the test set is domain shifted to sample different geographic areas compared to the training and validation sets. We find that such techniques significantly improve generalization performance when labeled data is limited and there are geographic domain shifts between the training data and the validation/test data.

연구 동기 및 목표

• 제한된 레이블이 있는 원격 감시 작업에서 자기지도학습(SimCLR) 및 준지도학습(FixMatch) 방법이 분할 성능을 향상시키는 데 효과적인지 평가하는 것.
• 학습 데이터와 다른 지리적 지역에서 온 테스트 데이터가 존재할 경우 이러한 방법이 모델의 일반화 능력을 향상시키는지 조사하는 것.
• 저도 및 도메인 이동 설정에서 ImageNet, SimCLR, 무작위 초기화를 기반으로 사전 훈련한 모델의 성능을 비교하는 것.
• 다양한 지리적 지역에서 온 레이블이 없는 데이터가 실제 원격 감시 응용 분야에서 모델의 강건성과 전이 가능성에 미치는 영향을 평가하는 것.

제안 방법

• 대규모 레이블이 없는 원격 감시 영상(Sentinel-1, NAIP)을 활용해 사전 훈련한 SimCLR로 미세조정하여 특징 표현 학습을 향상시킨다.
• FixMatch는 레이블이 없는 데이터의 약한 증강 및 강한 증강 버전 간의 일致성 정규화를 사용하여 일반화 능력을 향상시키는 준지도학습 방법을 적용한다.
• 세 가지 원격 감시 분할 벤치마크에서 훈련: 체서피키 허드 토양 피복(10만 장의 이미지), 강저 분할(1만 장의 이미지), Sen1Floods11 홍수 맵핑(1만 1천 장의 이미지).
• 두 가지 설정에서 성능을 평가: (1) 독립 동일 분포(IID) 테스트 분할과 (2) 훈련 데이터와 지리적으로 다른 지역의 테스트 영역을 포함하는 도메인 이동 테스트 분할.
• 이미지 크기와 수자원 비율의 변화에 영향을 받지 않도록, 양성 클래스(예: 수자원, 토양 피복)의 픽셀 단위 평균 교차율(IoU)을 주요 평가 지표로 사용한다.
• 다양한 사전 훈련 및 준지도학습 미세조정 설정을 비교: Supervised(ImageNet), Supervised(SimCLR), FixMatch(Random), FixMatch(ImageNet), FixMatch(SimCLR).

실험 결과

연구 질문

• RQ1 소량의 레이블만 존재할 경우 자기지도학습(SimCLR) 및 준지도학습(FixMatch) 방법이 분할 성능를 어떻게 향상시키는가?
• RQ2 학습 데이터와 다른 지리적 지역에서 온 테스트 데이터가 존재할 경우 이러한 방법이 모델의 일반화 능력을 얼마나 향상시키는가?
• RQ3 SimCLR를 통해 레이블이 없는 원격 감시 데이터를 사전 훈련하면, 저도 환경에서 ImageNet 사전 훈련보다 더 나은 최종 성능을 내는가?
• RQ4 충분한 레이블이 존재할 경우 준지도학습(FixMatch)이 감독 미세조정 성능을 떨어뜨리는 조건는 언제인가? 특히 레이블이 풍부한 경우에 대해 고려한다.
• RQ5 다양한 원격 감시 분할 작업(다른 데이터 분포 및 도메인 이동을 포함)에서 이러한 방법의 성능는 어떻게 변화하는가?

주요 결과

• Sen1Floods11의 도메인 이동 분할에서, FixMatch(Random)는 10% 레이블 데이터 조건에서 Supervised(Random) 대비 6.0% 절대 IoU 향상을 보였으며, 분포 이동 조건에서도 뛰어난 일반화 능력을 입증했다.
• Sen1Floods11의 10% 레이블 데이터 설정에서 FixMatch(ImageNet)는 Supervised(ImageNet) 대비 4.55% 절대 IoU 향상을 기록하여, 레이블이 없는 데이터의 효과적 활용을 확인했다.
• 체서피키 토양 피복 데이터셋에서 FixMatch(SimCLR)는 Supervised(SimCLR)의 성능을 따라했지만 이를 초월하지 못했으며, 사전 훈련이 이미 효과적일 경우 추가적인 이점이 없다는 것을 시사했다.
• IID 분할에서 100% 레이블 데이터 조건에서 FixMatch(SimCLR)는 Supervised(SimCLR) 대비 5.4% 성능 저하를 보였으며, 이는 레이블 데이터가 충분할 경우 준지도학습 방법이 성능에 악영향을 줄 수 있음을 나타낸다.
• Sen1Floods11의 10% 레이블 데이터 분할에서 FixMatch(Random)는 Supervised(Random) 대비 2.5% IoU 향상을 기록했고, FixMatch(ImageNet)는 그 감독 기반 모델 대비 2.5% 향상되었다.
• 본 연구는 자기지도학습 및 준지도학습의 성능 향상이 특히 레이블이 적고 도메인 이동 조건에서 두드러지게 나타나며, 지리적 분포 이동이 존재하는 실제 응용 환경에서의 가치를 확인했다.