[논문 리뷰] Large Language Models for Captioning and Retrieving Remote Sensing Images

João Daniel Silva, João Avelar Magalhães외 2명|arXiv (Cornell University)|2024. 02. 09.

Multimodal Machine Learning Applications인용 수 14

한 줄 요약

RS-CapRet은 원격 센싱 조정 비전 인코더와 간단한 선형 프로젝션을 갖춘 냉동된 대형 언어 모델을 사용해 원격 센싱 이미지를 설명하고 텍스트-이미지 검색을 수행하며 여러 RS 데이터셋에서 최첨단 혹은 경쟁력 있는 결과를 달성합니다.

ABSTRACT

Image captioning and cross-modal retrieval are examples of tasks that involve the joint analysis of visual and linguistic information. In connection to remote sensing imagery, these tasks can help non-expert users in extracting relevant Earth observation information for a variety of applications. Still, despite some previous efforts, the development and application of vision and language models to the remote sensing domain have been hindered by the relatively small size of the available datasets and models used in previous studies. In this work, we propose RS-CapRet, a Vision and Language method for remote sensing tasks, in particular image captioning and text-image retrieval. We specifically propose to use a highly capable large decoder language model together with image encoders adapted to remote sensing imagery through contrastive language-image pre-training. To bridge together the image encoder and language decoder, we propose training simple linear layers with examples from combining different remote sensing image captioning datasets, keeping the other parameters frozen. RS-CapRet can then generate descriptions for remote sensing images and retrieve images from textual descriptions, achieving SOTA or competitive performance with existing methods. Qualitative results illustrate that RS-CapRet can effectively leverage the pre-trained large language model to describe remote sensing images, retrieve them based on different types of queries, and also show the ability to process interleaved sequences of images and text in a dialogue manner.

연구 동기 및 목표

• 지구 관측 정보에 대한 접근성을 민주화하기 위해 비전 및 언어 모델을 원격 센싱 분야에 적용하는 것을 고무한다.
• LLM과 비전 인코더를 동결하고 경량 프로젝션 층을 학습시켜 간단하고 메모리 효율적인 RS 가능 V&L 모델을 개발한다.
• 하나의 프레임워크에서 이미지 캡션 생성과 텍스트-이미지 검색을 모두 가능하게 한다.
• LLMs이 RS 영상을 설명하고 이미지와 텍스트 입력의 대화식 상호 작용 처리를 지원할 수 있음을 보여준다.

제안 방법

• 원격 센싱 이미지의 캡션 생성을 위해 냉동된 대형 언어 모델(LLM)을 사용한다.
• 원격 센싱 데이터에서 CLIP 기반 비전 인코더를 미세 조정하여 이미지 임베딩을 생성한다.
• 이미지 임베딩을 LLM 입력 공간과 공유 검색 공간으로 매핑하기 위한 간단한 선형 프로젝션 층을 학습한다.
• 이미지와 [RET] 토큰 임베딩 간의 대비 학습을 통해 텍스트-이미지 검색을 가능하게 하려면 특별한 [RET] 토큰을 도입한다.
• 가중 손실 L = λ_c L_c + λ_r (L_t2i2i + L_i2t2t)을 사용하여 이미지 캡션 생성과 대조 검색 목표를 함께 학습한다.
• 추가된 선형 층과 [RET] 토큰 임베딩만 학습하고 나머지 매개변수는 동결하여 메모리와 학습 비용을 최소화한다.

실험 결과

연구 질문

• RQ1 동결된 LLM과 원격 센싱에 맞춘 비전 인코더를 결합하면 RS 이미지에 대해 정확한 캡션을 생성할 수 있는가?
• RQ2 이미지 임베딩과 LLM 입력 간의 간단한 프로젝션 기반 브리지가 RS 데이터로 효과적인 교차 모달 검색을 지원할 수 있는가?
• RQ3 RS-capable 데이터(Cap-4)에서 비전 인코더를 미세 조정하는 것이 제로샷이나 다른 베이스라인에 비해 캡션 생성 및 검색 성능을 개선하는가?
• RQ4 단일 RS-CapRet 모델이 NWPU-Captions, RSICD, Sydney-Captions, UCM-Captions 등 다양한 RS 캡션 데이터셋에서 경쟁력 있는 성능을 보일 수 있는가?

주요 결과

• RS-CapRet은 여러 데이터셋에 걸친 RS 캡션 생성 및 검색 벤치마크에서 경쟁력 있거나 최첨단 성과를 달성한다.
• Cap-4 데이터에서 비전 인코더를 미세 조정하면 검색 작업에서 제로샷 CLIP 버전보다 개선이 나타난다.
• 이 방법은 교차적 이미지-텍스트 대화를 지원하여 모델이 콘텐츠를 설명하고 이미지와 텍스트 시퀀스를 따라 추론할 수 있음을 보여준다.
• [RET] 토큰과 대비 학습을 통한 검색은 이미지와 [RET] 임베딩을 공유 공간에서 정렬시켜 텍스트-이미지 및 이미지-텍스트 검색을 효과적으로 가능하게 한다.
• CLIP 기반 백본(CLIP-Cap-4)과 LLamaV2를 언어 모델로 사용하면 여러 RS 캡션 데이터셋에서 강력한 성능을 얻는다.
• 학습 절차는 LLM과 비전 인코더를 동결한 채 가벼운 프로젝션 층과 [RET] 토큰 임베딩만 업데이트하여 메모리와 계산량을 감소시킨다.