[논문 리뷰] GenCo: An Auxiliary Generator from Contrastive Learning for Enhanced Few-Shot Learning in Remote Sensing

Jing Wu, Naira Hovakimyan외 1명|arXiv (Cornell University)|2023. 07. 27.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 레이블이 없는 항공 영상에서 사전 훈련하고 미세조정 중 합성 특징 샘플을 생성하는 보조 생성기와 함께 대조 학습 프레임워크인 GenCo를 제안한다. 이는 소수의 레이블이 있는 환경에서 원격 감지 분류 및 세분화 성능을 향상시킨다. Agriculture-Vision 및 EuroSAT에서 최신 기술을 초월하며, 클래스당 레이블이 10개 뿐인 경우조차 ImageNet 사전 훈련을 능가한다.

ABSTRACT

Classifying and segmenting patterns from a limited number of examples is a significant challenge in remote sensing and earth observation due to the difficulty in acquiring accurately labeled data in large quantities. Previous studies have shown that meta-learning, which involves episodic training on query and support sets, is a promising approach. However, there has been little attention paid to direct fine-tuning techniques. This paper repurposes contrastive learning as a pre-training method for few-shot learning for classification and semantic segmentation tasks. Specifically, we introduce a generator-based contrastive learning framework (GenCo) that pre-trains backbones and simultaneously explores variants of feature samples. In fine-tuning, the auxiliary generator can be used to enrich limited labeled data samples in feature space. We demonstrate the effectiveness of our method in improving few-shot learning performance on two key remote sensing datasets: Agriculture-Vision and EuroSAT. Empirically, our approach outperforms purely supervised training on the nearly 95,000 images in Agriculture-Vision for both classification and semantic segmentation tasks. Similarly, the proposed few-shot method achieves better results on the land-cover classification task on EuroSAT compared to the results obtained from fully supervised model training on the dataset.

연구 동기 및 목표

• 분류 및 의미적 세분화 작업을 위한 소수의 레이블이 있는 원격 감지 환경에서의 데이터 부족 문제를 해결한다.
• 기존의 대조 학습 방법은 자연 풍경 영상에 주로 최적화되어 있으며 원격 감지 데이터에 잘 일반화되지 않는 한계를 극복한다.
• 다양한 원격 감지 데이터에서 레이블이 없는 데이터를 활용하여, 후속 소수의 레이블이 있는 작업에 적용 가능한 강력하고 이식 가능한 표현을 학습하는 사전 훈련 전략을 개발한다.
• 사전 훈련 중에 보조 생성기를 도입하여 다양한 특징 변형을 합성함으로써 표현 학습 과정을 풍부화하고, 레이블 부족 상황에서의 일반화 능력을 향상시킨다.
• 특정 도메인의 원격 감지 데이터(예: Agriculture-Vision)에서 사전 훈련하는 것이 ImageNet 또는 COCO와 같은 일반 영상 데이터셋에서의 사전 훈련보다 소수의 레이블이 있는 성능을 더 잘 끌어올린다는 것을 입증한다.

제안 방법

• 대조 사전 훈련과 소수의 레이블이 있는 미세조정을 단계적으로 수행하는 프레임워크를 제안하며, 미세조정 단계에서는 백본 가중치를 고정한다.
• 대조 사전 훈련 중에 입력된 특징에서 다양한 양성 특징 변형을 생성할 수 있는 보조 생성기 네트워크를 도입한다.
• 생성기를 사용하여 특징 공간에서 추가적인 양성 쌍을 생성함으로써 대조 신호를 강화하고 표현의 강건성을 향상시킨다.
• 입력 영상에 데이터 증강을 적용하면서, Extended Agriculture-Vision (AV+) 데이터셋을 사용하여 InfoNCE와 같은 대조 학습 목표를 기반으로 백본과 생성기를 사전 훈련한다.
• 미세조정 단계에서는 사전 훈련된 생성기를 활용하여 잠재 공간에서 합성된 특징 샘플을 생성함으로써 제한된 레이블 데이터를 풍부화하고 일반화 능력을 향상시킨다.
• 백본과 생성기는 고정하고 분류 헤드 또는 세분화 디코더만 미세조정함으로써 소수의 레이블 상황에서 효율적인 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 사전 훈련 방법과 비교하여 생성기 기반의 대조 학습 프레임워크가 원격 감지 데이터셋에서 소수의 레이블이 있는 분류 및 세분화 성능을 향상시킬 수 있는가?
• RQ2 일반 영상 데이터셋(예: ImageNet 또는 COCO)이 아닌 도메인 특화된 원격 감지 데이터(예: AV+)에서 사전 훈련하면 소수의 레이블이 있는 일반화 성능이 더 뛰어나게 되는가?
• RQ3 사전 훈련 중에 특징 변형을 합성하는 보조 생성기가 표현 학습 및 후속 소수의 레이블이 있는 성능 향상에 어느 정도 기여하는가?
• RQ4 소량의 레이블 샘플만 존재할 경우, 제안된 방법은 완전히 지도 학습된 모델과 비교해 어떤가?
• RQ5 GenCo의 성능 향상 효과가 다양한 백본 아키텍처와 소수의 레이블 설정(1-shot, 5-shot, 10-shot)에서 다양한 원격 감지 벤치마크에서 지속적으로 유지되는가?

주요 결과

• Agriculture-Vision 데이터셋에서 다양한 백본 아키텍처를 대상으로 10-shot 분류 작업에서 GenCo는 ImageNet 사전 훈련을 1~6%p 뛰어넘는 성능을 기록한다.
• Agriculture-Vision 의미적 세분화 작업에서, 동일한 소수의 레이블 설정 하에서 GenCo는 COCO 사전 훈련된 특징보다 mIoU를 5~7점 향상시킨다.
• EuroSAT에서 ResNet-18을 사용한 10-shot 분류 작업에서 GenCo는 67.92%의 정확도를 기록했으며, ImageNet 사전 훈련을 1.02%p 뛰어넘고, AV+에서 사전 훈련된 MoCo-V2, SimSiam, SimCLR보다도 성능이 뛰어나다.
• 클래스당 레이블이 10개 뿐인 조건에서 GenCo는 EuroSAT에서 66.90%의 정확도를 기록했으며, 27,000개의 이미지로 훈련된 완전한 지도 학습 모델을 3.66%p 뛰어넘었다.
• ResNet-18, -50, -101 등 다양한 백본 크기에서 일관된 성능 향상을 유지하며, 1-shot 및 5-shot 설정에서도 성능 저하가 최소한이어서 극도로 레이블이 부족한 상황에서도 강력한 일반화 능력을 보였다.
• 보조 생성기는 표현 품질을 크게 향상시켰으며, 이는 최소한의 레이블 데이터로도 미세조정 시 성능 향상이 이루어지는 것으로 나타나, 데이터가 부족한 원격 감지 응용 분야에서의 가치를 입증한다.