[論文レビュー] Vision-Language Models in Remote Sensing: Current Progress and Future Trends

Xiang Li, Congcong Wen+3 more|arXiv (Cornell University)|May 9, 2023

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

リモートセンシングにおける vision-language モデル（VLMs）の総合的レビュー。RSタスク全体の現状と、視覚と意味理解を結ぶ未来の研究方針を提示。

ABSTRACT

The remarkable achievements of ChatGPT and GPT-4 have sparked a wave of interest and research in the field of large language models for Artificial General Intelligence (AGI). These models provide intelligent solutions close to human thinking, enabling us to use general artificial intelligence to solve problems in various applications. However, in remote sensing (RS), the scientific literature on the implementation of AGI remains relatively scant. Existing AI-related research in remote sensing primarily focuses on visual understanding tasks while neglecting the semantic understanding of the objects and their relationships. This is where vision-language models excel, as they enable reasoning about images and their associated textual descriptions, allowing for a deeper understanding of the underlying semantics. Vision-language models can go beyond visual recognition of RS images, model semantic relationships, and generate natural language descriptions of the image. This makes them better suited for tasks requiring visual and textual understanding, such as image captioning, and visual question answering. This paper provides a comprehensive review of the research on vision-language models in remote sensing, summarizing the latest progress, highlighting challenges, and identifying potential research opportunities.

研究の動機と目的

• リモートセンシングにおけるビジョン単独モデルからビジョン-言語モデルへと進化を surveyed する。
• 画像キャプション生成、テキストベース画像生成、テキストベース画像検索、VQA、シーン分類、セマンティックセグメンテーション、物体検出など、RSタスクにおけるVLMの適用を要約する。
• RSデータに合わせた基盤モデルと事前学習戦略を論じる。
• RS-VLMsの課題を特定し、今後の研究方向を提案する。

提案手法

• VLMアーキテクチャを fusion-encoder と dual-encoder のパラダイムに分類し、それらの相互作用メカニズムを説明する。
• RSに関連する基盤モデルの概念と、監視付きおよび自己教師付きアプローチを含む事前学習戦略を説明する。
• 既存文献からRS専用の代表的なVLM手法とそのタスク応用を要約する。
• 大規模言語モデルとビジョン・トランスフォーマーがRS VLMsの形成に果たす役割を強調する。
• RS-VLMsの今後の発展に向けた課題と機会を総合的に整理する。

実験結果

リサーチクエスチョン

• RQ1 リモートセンシングにおける主要RSタスクでのvision-languageモデルの最先端は何か？
• RQ2 fusion-encoderとdual-encoder VLMアーキテクチャはRS応用でどう比較されるか？
• RQ3 RSデータに対して最も効果的な foundation-model 戦略（監視付き vs. 自己教師付き）は何か？
• RQ4 RS-VLMの展開を妨げる主な制約は何か、今後の方向性は何が提案されているか？

主な発見

• vision-language モデルはRS画像中の物体と関係性について推論する能力を提供し、単純な物体認識を超える。
• RSタスクには画像キャプション生成、テキストベース画像生成、テキストベース画像検索、VQA、シーン分類、セマンティックセグメンテーション、物体検出が含まれる。
• 基盤となるRSモデルはラベルなしデータを活用する自己教師付きおよびマスク済み画像モデリング技術で構築されることが増えている。
• fusion-encoder および dual-encoder のVLMアーキテクチャは、それぞれ相互作用モデリングと効率性の点で異なるトレードオフを提供する。
• RS専用のデータセットとベンチマークが進歩を支え、RingMo のような基盤モデル、CLIP風アプローチ、BLIP-2 などが代表的な研究として言及されている。