[논문 리뷰] RS5M and GeoRSCLIP: A Large Scale Vision-Language Dataset and A Large Vision-Language Model for Remote Sensing

Zilun Zhang, Tiancheng Zhao외 2명|arXiv (Cornell University)|2023. 06. 20.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 500만 개의 이미지-설명 쌍을 포함한 대규모 원격 감지(RS) 이미지-텍스트 데이터셋인 RS5M과, RS5M에서 미세조정된 도메인 전용 시각-언어 모델인 GeoRSCLIP을 소개한다. CLIP 기반으로 파rameter-efficient fine-tuning을 적용한 GeoRSCLIP은 최신 기술 수준의 성능을 달성하여, 기준 모델 대비 zero-shot 분류 성능을 3–20% 향상시키고, 검색 성능을 3–6% 향상시키며, 의미적 국소화 성능을 4–5% 향상시켰다.

ABSTRACT

Pre-trained Vision-Language Models (VLMs) utilizing extensive image-text paired data have demonstrated unprecedented image-text association capabilities, achieving remarkable results across various downstream tasks. A critical challenge is how to make use of existing large-scale pre-trained VLMs, which are trained on common objects, to perform the domain-specific transfer for accomplishing domain-related downstream tasks. A critical challenge is how to make use of existing large-scale pre-trained VLMs, which are trained on common objects, to perform the domain-specific transfer for accomplishing domain-related downstream tasks. In this paper, we propose a new framework that includes the Domain pre-trained Vision-Language Model (DVLM), bridging the gap between the General Vision-Language Model (GVLM) and domain-specific downstream tasks. Moreover, we present an image-text paired dataset in the field of remote sensing (RS), RS5M, which has 5 million RS images with English descriptions. The dataset is obtained from filtering publicly available image-text paired datasets and captioning label-only RS datasets with pre-trained VLM. These constitute the first large-scale RS image-text paired dataset. Additionally, we fine-tuned the CLIP model and tried several Parameter-Efficient Fine-Tuning methods on RS5M to implement the DVLM. Experimental results show that our proposed dataset is highly effective for various tasks, and our model GeoRSCLIP improves upon the baseline or previous state-of-the-art model by $3\%\sim20\%$ in Zero-shot Classification (ZSC), $3\%\sim6\%$ in Remote Sensing Cross-Modal Text-Image Retrieval (RSCTIR) and $4\%\sim5\%$ in Semantic Localization (SeLo) tasks. Dataset and models have been released in: \url{https://github.com/om-ai-lab/RS5M}.

연구 동기 및 목표

• 도메인 전용 시각-언어 모델를 훈련하기 위한 대규모 고품질 원격 감지 이미지-텍스트 쌍 데이터셋의 부족 문제를 해결하기 위해.
• 일반적인 시각-언어 모델(GVLMs)과 원격 감지 응용 간의 도메인 갭을 해소하기 위해, 도메인 전용 지식이 핵심적인 원격 감지 환경에서의 적용을 위해.
• 일반적인 GVLM에서 유의미하게 일반화 가능한 지식을 원격 감지 전용 최종 작업에 효과적으로 전이할 수 있는 도메인 전용 시각-언어 모델(DVLM)을 개발하기 위해.
• 대규모 RS 데이터에서 파rameter-efficient fine-tuning 방법의 효과를 평가하여 모델 일반화 능력을 향상시키기 위해.
• 원격 감지 시각-언어 이해 분야의 연구를 가속화하기 위해 RS5M와 GeoRSCLIP을 오픈 리소스로 공개하기 위해.

제안 방법

• 사전 훈련된 시각-언어 모델를 사용하여 고품질의 도메인 관련 이미지-설명 쌍을 확보하기 위해, 공개된 이미지-텍스트 데이터셋을 필터링하고 증강하여 RS5M를 구축하였다.
• LAION2B, COYO700M, WIT, YFCC15M와 같은 기존의 대규모 데이터셋을 활용하였으며, 원격 감지 이미지와 기술적 설명을 포함하는 데이터만을 엄격하게 필터링하였다.
• LoRA와 같은 파rameter-efficient fine-tuning(PEFT) 기법을 사용하여 CLIP의 백본을 원격 감지 도메인에 맞게 미세조정하였다.
• 결과적으로 도출된 GeoRSCLIP 모델을 세 가지 최종 작업, 즉 zero-shot 분류, 다중 모odal 검색, 의미적 국소화에서 평가하였다.
• Dreambooth를 사용하여 RS5M 데이터의 1%에서 미세조정하여 특화된 Stable Diffusion 모델(RS-SD)을 생성하였으며, 원격 감지 이미지 생성의 정확도를 향상시켰다.
• 메타데이터 라이선스 검증 및 민감한 지리적 위치 정보 제거를 포함한 광범위한 추론 분석 및 안전성 점검을 수행하여 윤리적 및 법적 준수를 확보하였다.

실험 결과

연구 질문

• RQ1 대규모 고품질 이미지-텍스트 데이터셋이 원격 감지 응용 분야의 시각-언어 모델 성능을 크게 향상시킬 수 있는가?
• RQ2 일반적인 시각-언어 모델을 원격 감지 도메인에 적응시키는 데 파rameter-efficient fine-tuning이 얼마나 효과적인가?
• RQ3 RS5M에서 도메인 전용 사전 훈련을 통해 일반 모델 대비 zero-shot 분류, 검색, 국소화 성능이 얼마나 향상되는가?
• RQ4 RS5M에서 미세조정된 시각-언어 모델은 바이닐 드리프트 모델보다 더 현실적이고 의미적으로 일치하는 원격 감지 이미지를 생성할 수 있는가?
• RQ5 대규모 RS 이미지-텍스트 데이터셋을 구축하는 데 있어 주요 과제와 위험 요소는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• GeoRSCLIP은 원격 감지 벤치마크에서 기준 CLIP 모델 대비 3%에서 20%까지 zero-shot 분류 정확도를 향상시켰다.
• Remote Sensing Cross-Modal Text–Image Retrieval(RSCTIR) 작업에서 검색 성능을 기준 모델 대비 3%에서 6% 향상시켰다.
• 의미적 국소화(SeLo) 성능은 기준 모델 및 이전 최신 기술 수준의 모델 대비 4%에서 5% 향상되었다.
• RS5M의 1% 데이터에서 훈련된 미세조정된 Stable Diffusion 모델(RS-SD)은 Fréchet Inception Distance(FID) 점수 28.32를 기록하여 바이닐 Stable Diffusion의 36.86보다 훨씬 우수한 이미지 생성 품질을 보였다.
• 이상치 분석 결과 RS5M 이미지 중 0.8%만 비원격 감지로 잘못 분류되었고, 제거된 이미지 중 3.4%가 잘못 필터링된 것으로 나타나 데이터 품질과 필터링의 강건성을 입증하였다.
• 데이터셋과 모델는 비영리 학술 사용 라이선스 하에 공개되었으며, 연구 목적을 위해 GitHub 및 클라우드 스토리지에서 메타데이터와 이미지-텍스트 쌍을 모두 제공한다.