[논문 리뷰] GeoChat: Grounded Large Vision-Language Model for Remote Sensing

Kartik Kuckreja, Muhammad Sohail Danish외 4명|arXiv (Cornell University)|2023. 11. 24.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

GeoChat는 고해상도 원격 감시(RS) 영상에서 고정된 대화형 AI를 가능하게 하는 최초의 지능형 대규모 시각-언어 모델(VLM)이다. 이는 영상 수준 및 영역 수준의 대화를 지원하며, 공간 좌표를 활용해 응답을 시각적으로 정의한다. 또한 새로운 318만 건의 RS 지시 따르기 데이터셋을 활용해 캡션 작성, VQA, 시각적 지도, 환경 분류 등의 과제에서 최신 기술 수준의 제로샷 성능을 달성한다.

ABSTRACT

Recent advancements in Large Vision-Language Models (VLMs) have shown great promise in natural image domains, allowing users to hold a dialogue about given visual content. However, such general-domain VLMs perform poorly for Remote Sensing (RS) scenarios, leading to inaccurate or fabricated information when presented with RS domain-specific queries. Such a behavior emerges due to the unique challenges introduced by RS imagery. For example, to handle high-resolution RS imagery with diverse scale changes across categories and many small objects, region-level reasoning is necessary alongside holistic scene interpretation. Furthermore, the lack of domain-specific multimodal instruction following data as well as strong backbone models for RS make it hard for the models to align their behavior with user queries. To address these limitations, we propose GeoChat - the first versatile remote sensing VLM that offers multitask conversational capabilities with high-resolution RS images. Specifically, GeoChat can not only answer image-level queries but also accepts region inputs to hold region-specific dialogue. Furthermore, it can visually ground objects in its responses by referring to their spatial coordinates. To address the lack of domain-specific datasets, we generate a novel RS multimodal instruction-following dataset by extending image-text pairs from existing diverse RS datasets. We establish a comprehensive benchmark for RS multitask conversations and compare with a number of baseline methods. GeoChat demonstrates robust zero-shot performance on various RS tasks, e.g., image and region captioning, visual question answering, scene classification, visually grounded conversations and referring detection. Our code is available at https://github.com/mbzuai-oryx/geochat.

연구 동기 및 목표

• 스케일 변화, 소형 객체, 다중모odal 지시 데이터 부족 등의 도메인 특화 과제로 인해 일반 도메인 VLM의 성능이 열 劣한 문제를 해결하기 위해.
• 이미지 수준 및 영역 수준의 질의를 처리할 수 있는 통합 다중 작업 대화형 AI 시스템을 개발하여 RS 영상에서 공간 기반 정의를 수행할 수 있도록 하기 위해.
• 효과적인 지시 튜닝을 위해 RS 도메인에 특화된 대규모, 다양한 다중모달 지시 따르기 데이터셋을 구축하기 위해.
• 특히 지능형 대화 및 시각적 추론에서의 평가를 위한 종합적인 벤치마크를 구축하기 위해.
• VQA, 캡션 작성, 환경 분류, 참조 표현 탐지 등의 다양한 RS 과제에서 강력한 제로샷 일반화 성능을 입증하기 위해.

제안 방법

• 기존 RS 데이터셋(예: LRBEN, NWPU-RESISC-45, SAMRS)의 이미지-텍스트 쌍을 확장하여, Vicuna-v1.5를 활용한 자동 데이터 생성 기반으로 새로운 RS 다중모달 지시 따르기 데이터셋을 구축하였다.
• 객체 검출 기술 기술, 환경 분류 프롬프트, VQA 스타일 질문을 조합하여 318,000개의 다양한 지시-응답 쌍을 생성하였다.
• LoRA를 사용해 LLaVA-1.5를 미세조정하여 사전 학습된 지식을 유지하면서도 RS 도메인에 적응하도록 하여 지시 따르기 및 시각적 지도 기능을 가능하게 하였다.
• 일괄적인 통합 프레임워크 내에서 다양한 작업(예: 캡션 작성, VQA, 지도)을 위한 작업 전용 토큰을 통합하여 모델의 응답을 유도하였다.
• 입력에 공간 위치 표현을 통합하여 영역 수준의 추론과 시각적 지도의 경우 바운딩 박스 좌표를 출력할 수 있도록 하였다.
• 지도, 참조 표현 탐지, 영역 수준의 캡션 작성 테스트 세트를 포함한 새로운 평가 벤치마크를 구축하였으며, IoU 및 텍스트 메트릭(ROUGE, METEOR)을 사용하였다.

Figure 1 : GeoChat can accomplish multiple tasks for remote-sensing (RS) image comprehension in a unified framework. Given suitable task tokens and user queries, the model can generate visually grounded responses (text with corresponding object locations - shown on top), visual question answering on

실험 결과

연구 질문

• RQ1 단일 시각-언어 모델이 통합된 대화 프레임워크 내에서 영상 캡션 작성, VQA, 시각적 지도 등의 다양한 원격 감시 과제를 효과적으로 처리할 수 있는가?
• RQ2 도메인 특화 데이터 제약 조건이 존재하는 상황에서, 작업 전용 미세조정 없이 제로샷으로 미세조정된 VLM이 RS 전용 과제에 얼마나 잘 일반화되는가?
• RQ3 대규모, 합성된 RS 지시 따르기 데이터셋이 하류 RS 시각-언어 과제에서 제로샷 성능을 얼마나 향상시키는가?
• RQ4 VLM이 고해상도 RS 영상 내 객체의 정확한 공간 좌표를 기반으로 시각적으로 정의된 응답을 생성할 수 있는가?
• RQ5 GeoChat는 일반 도메인 VLM 및 전용 RS 모델과 비교해 여러 RS 벤치마크에서 제로샷 정확도 측면에서 어떤 성능을 보이는가?

주요 결과

• GeoChat는 RSVQA-HRBEN 데이터셋에서 제로샷 평가에서 평균 72.30%의 정확도를 기록하여, LLaVA-1.5보다 3.9% 높고, MiniGPTv2보다 25.8% 높은 성능을 보였다.
• RSVQA-LRBEN 데이터셋에서 도시-농촌 분류 서브셋에서 최신 기술 수준의 전문 모델인 RSGPT와 동등한 성능을 기록하여 강력한 제로샷 일반화 능력을 입증하였다.
• 지도 기술 과제에서 GeoChat는 IoU 0.5 기준 11.7%의 정확도와 83.9의 METEOR 점수를 기록하여, MiniGPTv2(10.8% 및 16.4 METEOR)를 크게 앞서는 성능을 보였다.
• 영역 수준의 캡션 작성 과제에서 GeoChat는 ROUGE-1 87.3, ROUGE-L 87.2를 기록하여, MiniGPTv2의 32.1 및 31.2를 크게 초월하였다.
• 참조 표현 탐지 및 시각적 지도 과제에서 GeoChat는 개선된 박스 정확도와 기술적 일관성으로 이전 모델 대비 향상된 성능을 보였다.
• 제안된 벤치마크와 데이터셋은 RS VLM의 표준화된 평가를 가능하게 하여, 향후 지능형 다중 작업 RS 시각-언어 이해 연구의 기반을 마련하였다.

Figure 2 : An overview of GeoChat - the first grounded large vision-language model for remote sensing. Given an image input together with a user query, a visual backbone is first used to encode patch-level tokens at a higher resolution via interpolating positional encodings. A multi-layer perceptron