[논문 리뷰] Multimodal contrastive learning for remote sensing tasks

Umangi Jain, Alex Wilson외 1명|arXiv (Cornell University)|2022. 09. 06.

Advanced Image and Video Retrieval Techniques인용 수 12

한 줄 요약

이 논문은 수동으로 설계된 데이터 증강 기법이 필요 없는, 쌍체의 지문-1(Sentinel-1, SAR) 및 지문-2(Sentinel-2, 옵티컬) 위성 이미지를 자연스러운 양성 샘플로 활용하는 다중모달 대비 학습 프레임워크를 제안한다. 이 방법은 홍수 세분화 및 지형 지도 작성 과제에서 최신 기준 성능을 달성하며, SimCLR 기준선 대비 수분 클래스에서 최대 +8.26%의 절대 IoU 향상을 기록한다.

ABSTRACT

Self-supervised methods have shown tremendous success in the field of computer vision, including applications in remote sensing and medical imaging. Most popular contrastive-loss based methods like SimCLR, MoCo, MoCo-v2 use multiple views of the same image by applying contrived augmentations on the image to create positive pairs and contrast them with negative examples. Although these techniques work well, most of these techniques have been tuned on ImageNet (and similar computer vision datasets). While there have been some attempts to capture a richer set of deformations in the positive samples, in this work, we explore a promising alternative to generating positive examples for remote sensing data within the contrastive learning framework. Images captured from different sensors at the same location and nearby timestamps can be thought of as strongly augmented instances of the same scene, thus removing the need to explore and tune a set of hand crafted strong augmentations. In this paper, we propose a simple dual-encoder framework, which is pre-trained on a large unlabeled dataset (~1M) of Sentinel-1 and Sentinel-2 image pairs. We test the embeddings on two remote sensing downstream tasks: flood segmentation and land cover mapping, and empirically show that embeddings learnt from this technique outperform the conventional technique of collecting positive examples via aggressive data augmentations.

연구 동기 및 목표

• 원격 측정 분야의 자기지도 학습에서 하이퍼파라미터에 민감한 데이터 증강 기법의 문제를 해결하기 위해.
• 다른 모달리티에서 온 교차 센서 위성 이미지가 대비 학습에서 효과적인 양성 쌍이 될 수 있는지 탐색하기 위해.
• ImageNet이나 수동 증강 조정에 의존하지 않고도 홍수 세분화 및 지형 지도 작성과 같은 원격 측정 과제에서의 최종 성능을 향상시키기 위해.
• 다양한 센서에서 온 자연스러운 다중모달 데이터가 인위적인 증강된 시각보다 더 나은 표현을 제공할 수 있음을 보여주기 위해.

제안 방법

• 지문-1 및 지문-2 이미지의 약 100만 개의 레이블이 없는 쌍을 동일한 지리적 위치와 근접한 타임스탬프에서 촬영한 데이터를 사용하여 이중 인코더 아키텍처를 대비 손실 함수로 훈련한다.
• 동일한 공간적·시간적 근접성에서 서로 다른 센서의 이미지를 매칭함으로써 자연스럽게 양성 쌍을 형성하며, 이는 수동으로 설계된 증강 기법을 대체한다.
• 쌍체의 SAR 및 옵티컬 이미지의 임베딩 간의 대비 손실을 최소화하고, 음성 쌍은 분리시키며, 공동 표현을 학습한다.
• 다양하고 대규모의 다중모달 위성 쌍 데이터셋을 사용하여 사전 훈련을 수행함으로써 다양한 최종 과제에 대한 일반화 능력을 확보한다.
• 복잡한 증강 하이퍼파라미터 탐색을 피하기 위해 각 모달리티에 대해 단순한 공간 증강(예: 자르기, 뒤집기)을 사용한다.
• IoU 및 정확도 메트릭을 사용해 평가하는 홍수 세분화(Sen1Floods11) 및 지형 분류(Dynamic World)와 같은 최종 과제에 대해 피지컬 테이닝을 적용한다.

실험 결과

연구 질문

• RQ1 다른 센서에서 온 자연스러운 다중모달 위성 이미지 쌍이 원격 측정 분야의 대비 학습에서 효과적인 양성 샘플이 될 수 있는가?
• RQ2 다중모달 사전 훈련이 기존의 증강 기반 자기지도 학습(SimCLR 등)보다 최종 원격 측정 과제에서 성능이 뛰어나게 되는가?
• RQ3 수동으로 설계된 증강 하이퍼파라미터 조정이 생략된 상황에서 SAR 및 옵티컬 센서 간의 보완적 정보를 활용함으로써 성능 손실를 보완할 수 있는가?
• RQ4 다중모달 사전 훈련이 텍스처나 표면 거칠기 민감도가 높은 지형 지도 클래스에서 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 다양한 원격 측정 과제 및 센서 조합에 일반화되는가?

주요 결과

• Sen1Floods11 홍수 세분화 과제에서, 다중모달 사전 훈련 모델은 수분 클래스에서 SimCLR 대비 +8.26% 절대 IoU 향상을 기록했고, 주거 지역에서는 +6.24% 향상되었다.
• Dynamic World(Sentinel-2) 데이터셋에서, 다중모달 체크포인트는 수분에서 +8.26% 절대 IoU 향상과 눈/ice에서 +8.05% 향상을 기록했으며, SAR로 탐지 가능한 표면 유형에서 가장 높은 향상이 관찰되었다.
• Dynamic World(Sentinel-1)에서, 다중모달 모델은 작물에서 +3.36% IoU 향상과 주거 지역에서 +2.52% 향상을 기록했지만, 눈/ice 및 노출된 지반 클래스에서는 약간의 성능 저하가 있었다.
• 다중모달 쌍이 본질적으로 강력한 양성 신호를 제공하므로, 데이터 증강의 고비용 하이퍼파라미터 조정이 감소하였다.
• Sen1Floods11 데이터셋에서, 다중모달 체크포인트를 사용한 피지컬 테이닝은 SimCLR 대비 약 2.4배 더 빠른 속도로 최고 성능에 도달하였다. 이는 훈련 효율성 향상을 시사한다.
• SAR에 대해 향상된 SimCLR 증강 기법(진동 강도 감소)을 적용한 경우에도 다중모달 모델이 여전히 우수한 성능을 기록하며, 이는 그 방법의 강건성과 우수성을 확인한다.