[論文レビュー] Remote Sensing Vision-Language Foundation Models without Annotations via Ground Remote Alignment

Utkarsh Mall, Cheng Perng Phoo+4 more|arXiv (Cornell University)|Dec 12, 2023

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本論文は、衛星画像をCLIPベースの地上画像に合わせることにより、テキスト注釈なしで衛星画像向けのビジョン-言語モデルを訓練する方法GRAFTを提案する。これにより、2つの解像度でゼロショット分類・検索・セグメンテーション・VQAを可能にし、教師ありベースラインに対して大きな改善を達成する。

ABSTRACT

We introduce a method to train vision-language models for remote-sensing images without using any textual annotations. Our key insight is to use co-located internet imagery taken on the ground as an intermediary for connecting remote-sensing images and language. Specifically, we train an image encoder for remote sensing images to align with the image encoder of CLIP using a large amount of paired internet and satellite images. Our unsupervised approach enables the training of a first-of-its-kind large-scale vision language model (VLM) for remote sensing images at two different resolutions. We show that these VLMs enable zero-shot, open-vocabulary image classification, retrieval, segmentation and visual question answering for satellite images. On each of these tasks, our VLM trained without textual annotations outperforms existing VLMs trained with supervision, with gains of up to 20% for classification and 80% for segmentation.

研究の動機と目的

• 高価なテキスト-画像注釈なしで衛星画像のオープンボキャブラリ理解を動機づける。
• 衛星画像と語学を結ぶ仲介として、共地点のインターネット地上画像を活用する。
• 1m (NAIP) および 10m (Sentinel-2) 解像度で動作する画像レベルおよびピクセルレベルのVLMを開発する。
• 衛星画像に対するゼロショット分類、検索、セグメンテーション（SAMを用いて）、VQA機能を示す。

提案手法

• 言語-画像のバックボーンとして、事前学習済みのインターネットVLM（CLIP）を使用する。
• 衛星画像ごとに複数の地上画像を集約する対比損失（L^I）を用いて、CLIP地上画像エンコーダと整列する画像レベルの衛星エンコーダを訓練する。
• 地上パッチ対応を用いて各画像パッチをCLIP互換空間に写像するピクセルレベルの衛星エンコーダを訓練する（L^P）。
• 地理タグ付き地上画像（Flickr由来）と地理整合衛星タイルを含む、2つの大規模な地上–衛星ペアデータセットを構築する（NAIPは1m、Sentinel-2は10m）。
• 高得点パッチを選択してパッチ中心をSAMに提示することで、ゼロショットセグメンテーションにSAMを活用する。
• ViperGPTを用いたゼロショットVQAや、SAMを用いたセグメンテーション品質の向上など、VLMベースのタスクを強化する。

実験結果

リサーチクエスチョン

• RQ1 衛星画像向けのビジョン-ラングュアモデルは、テキスト注釈を全く用いずに訓練できるのか。
• RQ2 CLIPを介して衛星画像を同所の地上画像にグラウンドすることは、リモートセンシングにおける有効なオープンボキャブラリ認識を可能にするか。
• RQ3 リモートセンシングにおける分類・検索・セグメンテーション・VQAタスクにおける、画像レベルおよびピクセルレベルのGRAFTモデルの能力は何か。
• RQ4 標準 RS ベンチマークで、GRAFTは教師付きVLMsやワンショットベースラインとどう比較されるか。
• RQ5 地上-衛星の整列は2つの解像度（NAIP 1m と Sentinel-2 10m）でスケールし、ゼロショットタスクの性能を維持できるか。

主な発見

• GRAFTはEuroSAT、BEN、SAT-4、SAT-6ベンチマークで画像分類と検索の最先端ゼロショット性能を達成する。
• NAIPでは、ViT-B/32およびViT-B/16バックボーンを用いたGRAFTが分類と検索でベースラインを大幅に上回る。
• Sentinel-2では、GRAFTは分類と検索の指標の双方でCLIPおよび従来のRS-VLMより著しく改善する。
• GRAFTによるピクセルレベルのセグメンテーションはCLIPSegを大きく上回り、SAMは一部データセットで追加の改善を提供する。
• ViperGPTとGRAFTのピクセルレベルモデルを組み合わせたVQAは、RSVQA風タスクにおいてGLIPベースの varianteより高いゼロショット精度を返す。
• アブレーションは、地上ベースの仲介が直接的なテキスト監視よりも優れており、適切な衛星サンプリングが良好な性能にとって重要であることを示す。