[論文レビュー] RSGPT: A Remote Sensing Vision Language Model and Benchmark

Yuan Hu, Jianlong Yuan+3 more|arXiv (Cornell University)|Jul 28, 2023

Multimodal Machine Learning Applications被引用数 36

ひとこと要約

RSGPTは、凍結済みのリモートセンシングエンコーダとLLMの間のQ-Formerベースのブリッジを、高品質なRSICapデータを用いて微調整することで強力なRSキャプションとRSVQAパフォーマンスをRSIEvalで達成します。

ABSTRACT

The emergence of large-scale large language models, with GPT-4 as a prominent example, has significantly propelled the rapid advancement of artificial general intelligence and sparked the revolution of Artificial Intelligence 2.0. In the realm of remote sensing (RS), there is a growing interest in developing large vision language models (VLMs) specifically tailored for data analysis in this domain. However, current research predominantly revolves around visual recognition tasks, lacking comprehensive, large-scale image-text datasets that are aligned and suitable for training large VLMs, which poses significant challenges to effectively training such models for RS applications. In computer vision, recent research has demonstrated that fine-tuning large vision language models on small-scale, high-quality datasets can yield impressive performance in visual and language understanding. These results are comparable to state-of-the-art VLMs trained from scratch on massive amounts of data, such as GPT-4. Inspired by this captivating idea, in this work, we build a high-quality Remote Sensing Image Captioning dataset (RSICap) that facilitates the development of large VLMs in the RS field. Unlike previous RS datasets that either employ model-generated captions or short descriptions, RSICap comprises 2,585 human-annotated captions with rich and high-quality information. This dataset offers detailed descriptions for each image, encompassing scene descriptions (e.g., residential area, airport, or farmland) as well as object information (e.g., color, shape, quantity, absolute position, etc). To facilitate the evaluation of VLMs in the field of RS, we also provide a benchmark evaluation dataset called RSIEval. This dataset consists of human-annotated captions and visual question-answer pairs, allowing for a comprehensive assessment of VLMs in the context of RS.

研究の動機と目的

• リモートセンシングの固有の撮像モダリティと高品質で大規模な画像-テキストデータセットの欠如により、ドメイン固有のビジョン言語モデルの必要性を動機づける。
• 高品質で人手で注釈付けされたRS画像キャプションデータセットRSICapを紹介し、RSでVLMの効果的な微調整を可能にする。
• RS画像キャプションとRSVQAの包括的ベンチマークとしてRSIEvalを提供する。
• 凍結エンコーダとLLMの上にQ-Formerと線形投影を微調整して作成された軽量なRS特化VLMであるRSGPTを開発・評価する。

提案手法

• バックボーンとして凍結済みの事前学習済み画像エンコーダ(EVA-G)と凍結済みの大規模言語モデル(Vicuna系)を使用する。
• 画像エンコーダとLLMの間にインストラクション対応のQ-Formerを挿入し、学習可能なクエリを用いたクロスアテンションを通じて視覚特徴をテキストプロンプトに整合させる。
• Q-Formerの出力を線形層でLLM入力空間へ射影して生成を行う。
• RSICapを用いて「この画像を詳しく説明してください。」などの指示でQ-Formerと線形層のみを微調整し、RSタスクへ適応させる。
• InstructBLIPの事前学習重みを活用して空間推論を改善し、その後RSICapでRS領域適応の微調整を行う。
• RSIEvalをRSIC (キャプション)とRSVQA (質問応答)タスクで評価し、手動スコアリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 軽量な整合モジュール（Q-Former）と凍結エンコーダおよびLLMを組み合わせた場合、ドメイン固有の微調整後に競合的なRSビジョン言語能力を発揮できるか。
• RQ2 高品質なRS特化キャプションデータセット（RSICap）は、モデル生成データセットよりRS VLMの性能を向上させるか。
• RQ3 RSICap/RSIEvalベンチマークにおけるキャプションとRSVQAタスクで、RSGPTは既存のRSVLモデルとどう比較されるか。

主な発見

• RSGPTはほとんどのカテゴリでRSVQAでBLIP2、MiniGPT4、InstructBLIPを上回り、Table Iの他と比較してRSVQAの平均精度が65.24と高い。
• RSICキャプションで詳細と位置の記述スコアが最高となり、オブジェクトレベルの推論への整合性が最も高く、RSIEval評価で幻覚が減少。
• RSVQAでは、比較対象モデルの中で最も小さな定量的誤差を示し、RSシーンにおける定量推論が改善。
• RSICapには2,585件の人手注釈付きRS画像-テキストペアが含まれ、シーンとオブジェクト情報が詳しく、モデル生成キャプションより豊富さと正確さで上回る。
• RSIEvalは100の画像キャプションペアと936のVQAトリプレットを提供し、オブジェクト、画像、シーン、推論のカテゴリにまたがる堅牢なRS VLMベンチマークを提供。