[論文レビュー] Large Language Models for Captioning and Retrieving Remote Sensing Images

João Daniel Silva, João Avelar Magalhães+2 more|arXiv (Cornell University)|Feb 9, 2024

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

RS-CapRet は、リモートセンシングに調整された視覚エンコーダと単純な線形射影を備えた凍結済みの大規模言語モデルを用い、リモートセンシング画像のキャプション作成とテキスト-画像検索を実行し、複数の RS データセットで最先端または競争力のある結果を達成します。

ABSTRACT

Image captioning and cross-modal retrieval are examples of tasks that involve the joint analysis of visual and linguistic information. In connection to remote sensing imagery, these tasks can help non-expert users in extracting relevant Earth observation information for a variety of applications. Still, despite some previous efforts, the development and application of vision and language models to the remote sensing domain have been hindered by the relatively small size of the available datasets and models used in previous studies. In this work, we propose RS-CapRet, a Vision and Language method for remote sensing tasks, in particular image captioning and text-image retrieval. We specifically propose to use a highly capable large decoder language model together with image encoders adapted to remote sensing imagery through contrastive language-image pre-training. To bridge together the image encoder and language decoder, we propose training simple linear layers with examples from combining different remote sensing image captioning datasets, keeping the other parameters frozen. RS-CapRet can then generate descriptions for remote sensing images and retrieve images from textual descriptions, achieving SOTA or competitive performance with existing methods. Qualitative results illustrate that RS-CapRet can effectively leverage the pre-trained large language model to describe remote sensing images, retrieve them based on different types of queries, and also show the ability to process interleaved sequences of images and text in a dialogue manner.

研究の動機と目的

• Vision と Language モデルをリモートセンシング領域に適用して地球観測情報へのアクセスを民主化する動機づけ。
• LLM と視覚エンコーダを凍結し、軽量な射影層を訓練することで、シンプルでメモリ効率の高い RS-capable V&L モデルを開発する。
• 画像キャプション作成とテキスト検索を同一フレームワーク内で実現する。
• LLM が RS 画像を記述し、画像とテキスト入力の対話型・対話スタイルの処理をサポートできることを示す。

提案手法

• 凍結された大規模言語モデル（LLM）を用いてリモートセンシング画像のキャプションを生成する。
• リモートセンシングデータ上で CLIP ベースの視覚エンコーダをファインチューニングし、画像埋め込みを生成する。
• 画像埋め込みを LLM の入力空間と共有検索空間へ写す、単純な線形射影層を学習する。
• [RET] トークンを導入して、画像と [RET] トークン埋め込み間の対比学習によるテキスト-画像検索を可能にする。
• L = λ_c L_c + λ_r (L_t2i2i + L_i2t2t) の重み付き損失を用いて、画像キャプション作成と対比検索の目的を jointly に訓練する。
• メモリと訓練コストを最小化するために大部分のパラメータを凍結し、追加の線形層と [RET] トークン埋め込みのみを訓練する。

実験結果

リサーチクエスチョン

• RQ1 凍結された LLM とリモートセンシングに特化した視覚エンコーダの組み合わせは、RS 画像の正確なキャプションを生成できるか。
• RQ2 画像埋め込みと LLM 入力を結ぶ単純な射影ブリッジは、RS データを用いた効果的なクロスモーダル検索をサポートできるか。
• RQ3 RS-capable データ（Cap-4）で視覚エンコーダをファインチューニングすることは、ゼロショットや他のベースラインと比較してキャプション作成と検索性能を向上させるか。
• RQ4 単一の RS-CapRet モデルは、北西部の多様な RS キャプションデータセット（NWPU-Captions、RSICD、Sydney-Captions、UCM-Captions）全体で競争力のある性能を示せるか。

主な発見

• RS-CapRet は複数のデータセットにおける RS キャプション作成と検索のベンチマークで競争力のある、または最先端の結果を達成する。
• Cap-4 データで視覚エンコーダをファインチューニングすることは、検索タスクにおいてゼロショット CLIP 系列よりも改善をもたらす。
• アプローチは画像-テキストの対話を interleaved にサポートし、連続する画像とテキストの内容をモデルが説明し推論できることを示す。
• [RET] を用いたテキスト-画像検索は、画像と [RET] 埋め込みを共有空間で整列させることにより、テキストから画像および画像からテキストの検索を効果的に実現できる。
• CLIP ベースのバックボーン（CLIP-Cap-4）と LLamaV2 を言語モデルとして使用することで、いくつかの RS キャプションデータセットで強力な性能を発揮する。
• 学習手順は LLM と視覚エンコーダを凍結したまま、軽量な射影層と [RET] トークン埋め込みのみを更新するため、メモリと計算を削減する。