[논문 리뷰] SkySenseGPT: A Fine-Grained Instruction Tuning Dataset and Model for Remote Sensing Vision-Language Understanding

Junwei Luo, Zhen Pang외 9명|arXiv (Cornell University)|2024. 06. 14.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 원격 감지 비전-언어 이해를 위한 대규모(180만 건의 샘플) 세밀한 지시 테이닝 데이터셋인 FIT-RS를 소개한다. 이 데이터셋은 관계 추론 및 시나리오 그래프 생성과 같은 복잡한 이해 과제를 포함한다. FIT-RS를 기반으로 저자들은 기존 모델보다 공개 벤치마크 및 새로운 FIT-RSFG 및 FIT-RSRC 벤치마크에서 뛰어난 성능을 보이며 세밀한 공간 관계 이해 능력을 크게 향상시킨 원격 감지 LMM인 SkySenseGPT를 개발하였다.

ABSTRACT

Remote Sensing Large Multi-Modal Models (RSLMMs) are developing rapidly and showcase significant capabilities in remote sensing imagery (RSI) comprehension. However, due to the limitations of existing datasets, RSLMMs have shortcomings in understanding the rich semantic relations among objects in complex remote sensing scenes. To unlock RSLMMs' complex comprehension ability, we propose a large-scale instruction tuning dataset FIT-RS, containing 1,800,851 instruction samples. FIT-RS covers common interpretation tasks and innovatively introduces several complex comprehension tasks of escalating difficulty, ranging from relation reasoning to image-level scene graph generation. Based on FIT-RS, we build the FIT-RSFG benchmark. Furthermore, we establish a new benchmark to evaluate the fine-grained relation comprehension capabilities of LMMs, named FIT-RSRC. Based on combined instruction data, we propose SkySenseGPT, which achieves outstanding performance on both public datasets and FIT-RSFG, surpassing existing RSLMMs. We hope the FIT-RS dataset can enhance the relation comprehension capability of RSLMMs and provide a large-scale fine-grained data source for the remote sensing community. The dataset will be available at https://github.com/Luo-Z13/SkySenseGPT

연구 동기 및 목표

• 기존 원격 감지 LMM에서 지시 테이닝 데이터의 제한성과 단순성으로 인한 세밀한 공간 관계 이해 부족 문제를 해결하기 위해.
• 세밀한 관계 이해 평가를 위한 표준화된 평가 프로토콜이 없는 문제를 해결하기 위해 종합적인 평가 벤치마크를 개발하기 위해.
• 기본 과제와 새로운 복잡한 추론 과제를 포함한 대규모 고품질 지시 테이닝 데이터셋(FIT-RS)을 구축하기 위해, 이는 이미지 수준 및 영역 수준의 시나리오 그래프 생성을 포함한다.
• 일반적이고 세밀한 원격 감지 이해 과제에서 모두 뛰어난 성능을 보이는 최신 기술의 RSLMM인 SkySenseGPT를 훈련하기 위해.
• 연구 공동체가 세밀한 비전-언어 이해를 향상시키기 위해 공개 가능하고 확장 가능한 자원을 제공하기 위해.

제안 방법

• 저자들은 원격 감지 영상에서 유래한 180만 건의 샘플을 포함하는 FIT-RS라는 지시 테이닝 데이터셋을 구축하였으며, 이는 전문가 및 LLM을 활용한 보강된 주석을 통해 세밀한 공간 관계를 다룬다.
• 이 데이터셋은 이미지 캡션 작성, VQA, 객체 검출, 다중 레이블 시나리오 분류와 더불어, 영역 수준 및 이미지 수준에서의 관계 추론 및 시나리오 그래프 생성과 같은 새로운 복잡한 과제를 포함한 다양한 과제를 수용한다.
• FIT-RSFG 벤치마크는 FIT-RS의 전반적인 과제 스펙트럼, 특히 세밀한 이해 과제를 평가하기 위해 구축되었다.
• FIT-RSRC 벤치마크는 원격 감지 관계 이해를 위한 첫 전용 평가 세트로, 전문가가 선별한 공통 지식 기반의 오답 선택지를 활용한 CircularEval 전략을 사용하여 도입되었다.
• SkySenseGPT는 FIT-RS의 통합 지시 데이터를 활용하여 훈련되었으며, 이는 모델이 복잡한 공간 추론 과제 간의 일반화 능력을 발휘할 수 있도록 하였다.
• 데이터셋과 모델는 GitHub를 통해 배포되어 공동체 접근성과 재현 가능성을 보장하였다.

실험 결과

연구 질문

• RQ1 대규모 세밀한 지시 테이닝 데이터셋은 원격 감지 LMM의 공간 관계 이해 능력을 어떻게 향상시킬 수 있는가?
• RQ2 기존 RSLMM는 이미지 수준의 시나리오 그래프 생성과 같은 복잡한 원격 감지 이해 과제에 얼마나 잘 일반화되는가?
• RQ3 새로운 벤치마크(FIT-RSRC)는 원격 감지 LMM의 세밀한 관계 이해 능력을 효과적이고 공정하게 평가할 수 있는가?
• RQ4 SkySenseGPT는 공개 벤치마크와 새로 제안된 FIT-RSFG 및 FIT-RSRC 벤치마크에서 기존 RSLMM와 비교해 어떻게 성능을 냈는가?
• RQ5 전문가가 선별하고 GPT-4로 보강한 공통 지식 기반 관계-객체 단어 목록을 통합함으로써 모델의 강건성과 평가의 공정성은 어떻게 향상되는가?

주요 결과

• SkySenseGPT는 공개 원격 감지 벤치마크에서 최고 성능을 기록하며 뛰어난 일반화 및 이해 능력을 입증하였다.
• 새로 제안된 FIT-RSFG 벤치마크에서 기존 RSLMM보다 뚜렷이 뛰어난 성능을 보이며, 다양한 복잡한 과제에 걸쳐 세밀한 이해 능력을 평가하였다.
• 원격 감지 관계 이해를 위한 첫 전용 벤치마크인 FIT-RSRC는 SkySenseGPT가 새로운 공간 추론 패턴에 대해 높은 정확도로 잘 일반화됨을 보여주었다.
• FIT-RSRC에서 전문가가 선별하고 GPT-4로 보강한 오답 선택지를 사용함으로써 평가의 공정성이 향상되었고, 텍스트만으로 추측하는 전략을 방지하였다.
• FIT-RS 데이터셋은 총 1,800,851건의 고품질 지시 샘플을 포함하며, 이미지 캡션의 평균 길이가 619.21 토큰으로, 매우 높은 세부 정보와 의미적 풍부성을 지니고 있다.
• 이 데이터셋은 영역 수준 및 이미지 수준의 시나리오 그래프 생성과 같은 새로운 복잡도가 점차 증가하는 과제를 포함하여, 모델이 계층적인 공간 관계를 학습할 수 있도록 한다.