[論文レビュー] GeoChat: Grounded Large Vision-Language Model for Remote Sensing

Kartik Kuckreja, Muhammad Sohail Danish+4 more|arXiv (Cornell University)|Nov 24, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

GeoChatは、高分解能レーダー画像を用いたゼロショットマルチタスク会話型AIを可能にする、最初の地図に根ざした大規模なビジョン・ランゲージモデル（VLM）である。画像レベルおよび領域レベルの対話に対応し、空間座標を用いて応答を視覚的に根拠づける。318,000件のサンプルを含む新しいRS指令従属データセットを活用し、キャプション作成、VQA、視覚的根拠付け、シーン分類の各タスクで最先端のゼロショット性能を達成した。

ABSTRACT

Recent advancements in Large Vision-Language Models (VLMs) have shown great promise in natural image domains, allowing users to hold a dialogue about given visual content. However, such general-domain VLMs perform poorly for Remote Sensing (RS) scenarios, leading to inaccurate or fabricated information when presented with RS domain-specific queries. Such a behavior emerges due to the unique challenges introduced by RS imagery. For example, to handle high-resolution RS imagery with diverse scale changes across categories and many small objects, region-level reasoning is necessary alongside holistic scene interpretation. Furthermore, the lack of domain-specific multimodal instruction following data as well as strong backbone models for RS make it hard for the models to align their behavior with user queries. To address these limitations, we propose GeoChat - the first versatile remote sensing VLM that offers multitask conversational capabilities with high-resolution RS images. Specifically, GeoChat can not only answer image-level queries but also accepts region inputs to hold region-specific dialogue. Furthermore, it can visually ground objects in its responses by referring to their spatial coordinates. To address the lack of domain-specific datasets, we generate a novel RS multimodal instruction-following dataset by extending image-text pairs from existing diverse RS datasets. We establish a comprehensive benchmark for RS multitask conversations and compare with a number of baseline methods. GeoChat demonstrates robust zero-shot performance on various RS tasks, e.g., image and region captioning, visual question answering, scene classification, visually grounded conversations and referring detection. Our code is available at https://github.com/mbzuai-oryx/geochat.

研究の動機と目的

• スケールの変動、小さな物体、マルチモーダル指令データの不足といったドメイン固有の課題により、一般ドメインのVLMがレーダー画像認識で性能を発揮できない問題に対処する。
• 画像レベルおよび領域レベルの質問に応じて空間的根拠を伴う一元的でマルチタスクの会話型AIシステムを構築すること。
• 効果的な指令チューニングを可能にするために、大規模で多様性がありドメイン特化されたRSマルチモーダル指令従属データセットを構築すること。
• 特に根拠付き会話と視覚的推論を含む、RSビジョン・ランゲージモデルの包括的評価ベンチマークを確立すること。
• VQA、キャプション作成、シーン分類、参照表現検出などの複数のRSタスクにおいて、強力なゼロショット一般化性能を示すこと。

提案手法

• Vicuna-v1.5を用いた自動データ生成により、既存のRSデータセット（例：LRBEN、NWPU-RESISC-45、SAMRS）の画像・テキストペアを拡張し、新規のRSマルチモーダル指令従属データセットを構築した。
• オブジェクト検出の記述、シーン分類のプロンプト、VQA風の質問を組み合わせることで、318,000件の多様な指令-応答ペアを生成した。
• LoRAを用いてLLaVA-1.5を微調整し、事前学習済みの知識を保持しながらRSドメインに適応させ、指令従いと視覚的根拠付けを可能にした。
• 一貫した統合フレームワーク内で、キャプション作成、VQA、根拠付けなどの異なるタスクに対応するためのタスク固有トークンを統合した。
• 入力に空間的位置情報表現を組み込み、領域レベルの推論と視覚的根拠付けのためのバウンディングボックス座標出力を可能にした。
• IoUとテキストメトリクス（ROUGE、METEOR）を用いた、根拠付け、参照表現検出、領域レベルのキャプション作成のテストセットを含む、新しい評価ベンチマークを確立した。

Figure 1 : GeoChat can accomplish multiple tasks for remote-sensing (RS) image comprehension in a unified framework. Given suitable task tokens and user queries, the model can generate visually grounded responses (text with corresponding object locations - shown on top), visual question answering on

実験結果

リサーチクエスチョン

• RQ1 1つのビジョン・ランゲージモデルが、一貫した会話フレームワーク内で、画像キャプション作成、VQA、視覚的根拠付けといった多様なレーダー画像認識タスクを効果的に処理できるか？
• RQ2 ドメイン固有のデータ制限を考慮すると、タスク固有の微調整なしに、ゼロショットで微調整されたVLMがRS固有のタスクにどの程度一般化できるか？
• RQ3 大規模で合成されたRS指令従属データセットが、下流のRSビジョン・ランゲージタスクにおけるゼロショット性能をどの程度向上させるか？
• RQ4 VLMが高分解像RS画像内のオブジェクトに対して、正確な空間座標を伴う視覚的に根拠づけられた応答を生成できるか？
• RQ5 GeoChatは、一般ドメインVLMおよび専用RSモデルと比較して、複数のRSベンチマークにおけるゼロショット精度でどの程度優れているか？

主な発見

• GeoChatはRSVQA-HRBENデータセットにおいてゼロショット評価で平均72.30％の精度を達成し、LLaVA-1.5より3.9％、MiniGPTv2より25.8％高い性能を示した。
• RSVQA-LRBENデータセットでは、都市・農村分類サブセットでSOTA専用モデルRSGPTと同等の性能を示し、強力なゼロショット一般化能力を実証した。
• 根拠付け記述タスクでは、IoU 0.5での精度が11.7％、METEORスコアが83.9と、MiniGPTv2（10.8％および16.4 METEOR）を大きく上回った。
• 領域レベルのキャプション作成では、ROUGE-1が87.3、ROUGE-Lが87.2と、MiniGPTv2の32.1および31.2を大きく上回った。
• 参照表現検出および視覚的根拠付けにおいて、GeoChatはボックス精度と記述の整合性の両面で、先行モデルを上回るゼロショット性能を示した。
• 提案されたベンチマークとデータセットにより、RS VLMの標準化された評価が可能となり、根拠付きでマルチタスクなRSビジョン・ランゲージ理解分野の今後の研究基盤が築かれた。

Figure 2 : An overview of GeoChat - the first grounded large vision-language model for remote sensing. Given an image input together with a user query, a visual backbone is first used to encode patch-level tokens at a higher resolution via interpolating positional encodings. A multi-layer perceptron