[논문 리뷰] Representation Learning for Remote Sensing: An Unsupervised Sensor Fusion Approach

Aidan Swope, Xander Rudelis외 1명|arXiv (Cornell University)|2021. 08. 11.

Remote-Sensing Image Classification인용 수 8

한 줄 요약

이 논문은 대비적 센서 융합(Contrastive Sensor Fusion, CSF)을 제안한다. CSF는 랜덤한 채널/센서 삭제를 통해 생성된 시각들을 대비함으로써, 임의의 다중 센서 원격 측정 데이터 조합으로부터 의미 있는 표현을 학습하는 자기지도 학습 방법이다. 4700만 개의 레이블이 없는 공통 영역 이미지 트리플릿으로 훈련된 CSF 표현은 레이블이 없는 데이터로 훈련되었음에도 불구하고 원격 측정 분류 작업에서 ImageNet 지도 학습 특징을 능가하며, 추가로 센서 입력이 증가함에 따라 점진적으로 성능 향상을 보이며, 융합된 경우 고해상도 단일 센서를 능가하는 성능을 기록한다.

ABSTRACT

In the application of machine learning to remote sensing, labeled data is often scarce or expensive, which impedes the training of powerful models like deep convolutional neural networks. Although unlabeled data is abundant, recent self-supervised learning approaches are ill-suited to the remote sensing domain. In addition, most remote sensing applications currently use only a small subset of the multi-sensor, multi-channel information available, motivating the need for fused multi-sensor representations. We propose a new self-supervised training objective, Contrastive Sensor Fusion, which exploits coterminous data from multiple sources to learn useful representations of every possible combination of those sources. This method uses information common across multiple sensors and bands by training a single model to produce a representation that remains similar when any subset of its input channels is used. Using a dataset of 47 million unlabeled coterminous image triplets, we train an encoder to produce semantically meaningful representations from any possible combination of channels from the input sensors. These representations outperform fully supervised ImageNet weights on a remote sensing classification task and improve as more sensors are fused. Our code is available at https://storage.cloud.google.com/public-published-datasets/csf_code.zip.

연구 동기 및 목표

• 픽셀 정밀도의 레이블이 비용과 시간이 많이 들기 때문에 원격 측정 분야에서 레이블이 부족한 문제를 해결한다.
• 고해상도 공간 변동성과 복잡한 시나리오 레이아웃으로 인해 기존 자기지도 학습 방법이 원격 측정에 적합하지 않은 한계를 극복한다.
• 모든 가능한 센서 조합에 일반화 가능한 통합 표현을 학습함으로써 다중 센서, 다중 채널 데이터의 효과적인 융합을 가능하게 한다.
• 후행 작업에 대해 피팅 튜닝 없이도 유용한 분리된, 센서에 영향을 받지 않는 특징을 학습하는 방법을 개발한다.

제안 방법

• 동일한 장면의 두 시각을 형성하기 위해 서로 다른 센서의 입력 채널을 무작위로 제거함으로써, 유사한 표현을 유도하는 대비 손실을 사용해 단일 인코더를 훈련한다.
• 각각 4개의 밴드를 가진 세 개의 옵티컬 센서(SPOT, NAIP, Pléiades)에서 올바른 영역 이미지 트리플릿을 사용하며, 총 12개의 입력 채널을 갖는다.
• 가용한 센서에서 채널의 부분 집합을 무작위로 선택하여 각 장면에 대해 두 개의 시각을 형성하며, 두 시각이 동일한 기반 장면 맥락을 공유하도록 보장한다.
• 정보 최대화 손실(예: InfoNCE)을 적용하여 두 시각의 표현 간의 일치를 최대화하고, 음성 샘플과의 유사도를 최소화한다.
• 채널 삭제를 통한 데이터 증강을 사용해 부분적인 센서 가용성을 시뮬레이션하며, 20TB 크기의 4700만 개의 레이블이 없는 장면 데이터셋으로 훈련한다.
• 피팅 튜닝 없이 사전 훈련된 인코더를 직접 후행 작업에 전이하여 원격 측정 분류에서 제로샷 성능을 평가한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 예시 없이 다중 센서 원격 측정 데이터에서 대비적 자기지도 목적이 효과적으로 표현을 학습할 수 있는가?
• RQ2 여러 개의 저해상도 센서를 융합하면 단일 고해상도 센서를 사용하는 것보다 더 나은 표현을 얻을 수 있는가?
• RQ3 학습된 표현은 다양한 센서 조합 간에 일반화되며, 센서 고유의 노이즈와 해상도 차이가 있더라도 의미적으로 유의미한가?
• RQ4 비지도 학습 기반의 CSF 모델 성능은 원격 측정 벤치마크에서 지도 학습 기반 ImageNet 사전 훈련과 비교해 어떻게 되는가?

주요 결과

• CSF 모델은 100% 레이블이 없는 데이터로 훈련되었고 피팅 튜닝 없이도 원격 측정 분류 작업에서 ImageNet 지도 학습 특징을 능가하는 뛰어난 성능을 기록한다.
• 더 많은 센서 채널이 추가될수록 표현 품질이 점진적으로 향상되며, 상호 보완적인 정보 융합이 효과적임을 보여준다.
• SPOT와 NAIP 데이터를 융합하면 Pléiades를 단독으로 사용하는 것보다 더 높은 성능을 기록한다. 이는 Pléiades가 더 높은 공간 해상도를 지니고 있음에도 불구하고, 스펙트럼 다양성과 다중 시각 일관성이 해상도만으로는 결코 대체할 수 없다는 것을 시사한다.
• 12채널 완전 융합 CSF 모델은 클러스터링 평가에서 모든 k값에서 3채널 ImageNet 특징을 능가하며, 이는 모델의 강건성과 의미적 풍부함을 확인한다.
• 주성분 분석 결과, 농경지, 다리, 노천 토양과 같은 고수준 개념이 다양한 센서 간에 일관되게 활성화됨을 확인하여, 센서에 영향을 받지 않는 분리된 특징 학습이 이루어졌음을 시사한다.
• 시각화 결과, 동일한 의미적 개념(예: 콘크리트 또는 식생)이 입력으로 사용된 센서에 관계없이 표현 공간의 동일한 방향에 포착됨을 확인하여, 안정성과 융합 효과성이 입증된다.