[논문 리뷰] RSGPT: A Remote Sensing Vision Language Model and Benchmark

Yuan Hu, Jianlong Yuan외 3명|arXiv (Cornell University)|2023. 07. 28.

Multimodal Machine Learning Applications인용 수 36

한 줄 요약

RSGPT가 품질 높은 RSICap 데이터를 사용해 frozen remote-sensing encoders와 LLM 사이의 Q-Former 기반 브리지를 미세조정하여 RS 캡션 및 RSVQA 성능에서 강한 성과를 달성한다.

ABSTRACT

The emergence of large-scale large language models, with GPT-4 as a prominent example, has significantly propelled the rapid advancement of artificial general intelligence and sparked the revolution of Artificial Intelligence 2.0. In the realm of remote sensing (RS), there is a growing interest in developing large vision language models (VLMs) specifically tailored for data analysis in this domain. However, current research predominantly revolves around visual recognition tasks, lacking comprehensive, large-scale image-text datasets that are aligned and suitable for training large VLMs, which poses significant challenges to effectively training such models for RS applications. In computer vision, recent research has demonstrated that fine-tuning large vision language models on small-scale, high-quality datasets can yield impressive performance in visual and language understanding. These results are comparable to state-of-the-art VLMs trained from scratch on massive amounts of data, such as GPT-4. Inspired by this captivating idea, in this work, we build a high-quality Remote Sensing Image Captioning dataset (RSICap) that facilitates the development of large VLMs in the RS field. Unlike previous RS datasets that either employ model-generated captions or short descriptions, RSICap comprises 2,585 human-annotated captions with rich and high-quality information. This dataset offers detailed descriptions for each image, encompassing scene descriptions (e.g., residential area, airport, or farmland) as well as object information (e.g., color, shape, quantity, absolute position, etc). To facilitate the evaluation of VLMs in the field of RS, we also provide a benchmark evaluation dataset called RSIEval. This dataset consists of human-annotated captions and visual question-answer pairs, allowing for a comprehensive assessment of VLMs in the context of RS.

연구 동기 및 목표

• 원격 탐지의 고유한 이미징 모드와 크고 고품질 이미지-텍스트 데이터 세트의 부족으로 인해 도메인 특화 비전-언어 모델의 필요성을 동기 부여합니다.
• VLM의 RS에서의 효과적인 미세조정을 가능하게 하는 고품질의 인간 주석 RS 이미지-캡션 데이터 세트 RSICap를 소개합니다.
• RS 이미지 캡션 및 RSVQA를 위한 포괄적 벤치마크로 RSIEval을 제공합니다.
• 고정된 인코더와 LLM 위에 Q-Former와 선형 투영을 미세조정해 경량의 RS 중심 VLM인 RSGPT를 개발하고 평가합니다.

제안 방법

• 백본으로 냉동(pre-trained) 이미지 인코더(EVA-G)와 냉동 대형 언어 모델(Vicuna 변형)을 사용합니다.
• 이미지 인코더와 LLM 사이에 지시문 인식(Q-Former)을 삽입하여 학습 가능한 쿼리와의 교차 주의(attention)를 통해 시각적 특징을 텍스트 프롬프트에 정렬합니다.
• Q-Former 출력물을 선형 계층을 통해 LLM 입력 공간으로 투영하여 생성에 사용합니다.
• RSICap에 '이 이미지를 자세히 설명하십시오.'와 같은 지시를 사용해 Q-Former와 선형 계층만 미세조정하여 RS 작업에 적응합니다.
• 공간 추론을 개선하기 위해 InstructBLIP 사전학습 가중치를 활용한 다음 RSICap에서 RS-도메인 적응을 위해 미세조정합니다.
• RSIEval에서 RSIC(캡션) 및 RSVQA(질문 답변) 작업으로 수동 채점 방식으로 평가합니다.

실험 결과

연구 질문

• RQ1 경량 정렬 모듈(Q-Former)과 냉동 인코더 및 LLM이 도메인 특화 미세조정 후 경쟁력 있는 RS 비전-언어 역량을 생성할 수 있는가?
• RQ2 고품질의 RS 특화 캡션 데이터세트(RSICap)가 모델 생성 데이터세트보다 강한 RS VLM 성능을 제공하는가?
• RQ3 RSICap/RSIEval 벤치마크에서 캡션 및 RSVQA 과제로 기존 RSVL 모델과 RSGPT의 성능 차이가 어떻게 나타나는가?

주요 결과

• 대부분의 범주에서 RSVQA에서 BLIP2, MiniGPT4, InstructBLIP를 능가하는 RSGPT가 더 높은 평균 정확도(65.24)로 Table I의 다른 모델보다 우수한 성능을 보입니다.
• RSIC 캡션에서 세부 및 위치 설명 점수가 최고이며 객체 수준 추론과의 정렬이 강하고 RSIEval 평가에서 환각이 줄었습니다.
• RSVRQA에서, 비교 모델 중에서 가장 작은 정량적 상대 오차를 보였으며 RS 장면에서의 정량적 추론이 개선되었습니다.
• RSICap은 2,585개의 인간 주석 RS 이미지-텍스트 쌍으로 세부적인 장면 및 객체 정보를 담고 있어 모델 생성 캡션보다 풍부하고 정확합니다.
• RSIEval은 객체, 이미지, 장면 및 추론 범주에 걸친 100개의 이미지-캡션 쌍과 936개의 VQA 트리플을 제공하여 견고한 RS VLM 벤치마킹을 가능하게 합니다.