[論文レビュー] RS5M and GeoRSCLIP: A Large Scale Vision-Language Dataset and A Large Vision-Language Model for Remote Sensing

Zilun Zhang, Tiancheng Zhao+2 more|arXiv (Cornell University)|Jun 20, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、500万件のペア画像と説明文を備えた大規模なリモートセンシング（RS）画像・テキストデータセットであるRS5Mと、RS5Mで微調整されたドメイン特化型のビジョン・ランゲージモデルであるGeoRSCLIPを紹介する。CLIPを基盤としてパラメータ効率の良い微調整（PEFT）を適用したGeoRSCLIPは、最先端の性能を達成し、ベースラインと比較してゼロショット分類で3–20%、リtrievalで3–6%、セマンティックロケライゼーションで4–5%の向上を達成した。

ABSTRACT

Pre-trained Vision-Language Models (VLMs) utilizing extensive image-text paired data have demonstrated unprecedented image-text association capabilities, achieving remarkable results across various downstream tasks. A critical challenge is how to make use of existing large-scale pre-trained VLMs, which are trained on common objects, to perform the domain-specific transfer for accomplishing domain-related downstream tasks. A critical challenge is how to make use of existing large-scale pre-trained VLMs, which are trained on common objects, to perform the domain-specific transfer for accomplishing domain-related downstream tasks. In this paper, we propose a new framework that includes the Domain pre-trained Vision-Language Model (DVLM), bridging the gap between the General Vision-Language Model (GVLM) and domain-specific downstream tasks. Moreover, we present an image-text paired dataset in the field of remote sensing (RS), RS5M, which has 5 million RS images with English descriptions. The dataset is obtained from filtering publicly available image-text paired datasets and captioning label-only RS datasets with pre-trained VLM. These constitute the first large-scale RS image-text paired dataset. Additionally, we fine-tuned the CLIP model and tried several Parameter-Efficient Fine-Tuning methods on RS5M to implement the DVLM. Experimental results show that our proposed dataset is highly effective for various tasks, and our model GeoRSCLIP improves upon the baseline or previous state-of-the-art model by $3\%\sim20\%$ in Zero-shot Classification (ZSC), $3\%\sim6\%$ in Remote Sensing Cross-Modal Text-Image Retrieval (RSCTIR) and $4\%\sim5\%$ in Semantic Localization (SeLo) tasks. Dataset and models have been released in: \url{https://github.com/om-ai-lab/RS5M}.

研究の動機と目的

• ドメイン特化型ビジョン・ランゲージモデルを訓練するための、大規模かつ高品質なリモートセンシング画像・テキストペアデータセットの不足に対処すること。
• 一般ビジョン・ランゲージモデル（GVLM）とリモートセンシング応用の間のドメインギャップを埋め、ドメイン特化知識が極めて重要である分野における応用を支援すること。
• 一般ビジョン・ランゲージモデル（GVLM）から得られる汎用的知識を、リモートセンシング固有の下流タスクに効果的に転送できるドメイン特化型ビジョン・ランゲージモデル（DVLM）を構築すること。
• 大規模RSデータに対してパラメータ効率の良い微調整手法が、モデルの汎化性能を向上させるかを評価すること。
• リモートセンシングビジョン・ランゲージ理解分野の研究を促進するために、RS5MとGeoRSCLIPをオープンリソースとして公開すること。

提案手法

• 事前学習済みビジョン・ランゲージモデルを用いて、高品質でドメイン関連の高い画像・テキストペアを保証するため、公開済みの画像・テキストデータセットをフィルタリングおよび拡張することでRS5Mを構築した。
• LAION2B、COYO700M、WIT、YFCC15Mなど既存の大規模データセットを活用し、リモートセンシング画像に加え記述的キャプションを有するものに厳密にフィルタリングを施した。
• パラメータ効率の良い微調整（PEFT）手法、特にLoRAを用いてCLIPバックボーンを微調整し、一般ビジョン・ランゲージモデルをリモートセンシングドメインに適応させた。
• 得られたGeoRSCLIPモデルを、ゼロショット分類、クロスモーダルリtrieval、セマンティックロケライゼーションの3つの下流タスクで評価した。
• 1%のRS5Mデータを用いてDreamboothで微調整した専用のStable Diffusionモデル（RS-SD）を生成し、リモートセンシング向けに画像生成の忠実度を向上させた。
• メタデータのライセンス検証や機微な地理的場所情報の削除を含む、包括的なアブレーションスタディおよびセーフティチェックを実施し、倫理的・法的整合性を確保した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ高品質な画像・テキストデータセットは、リモートセンシング応用におけるビジョン・ランゲージモデルの性能を顕著に向上させ得るか？
• RQ2 パラメータ効率の良い微調整は、一般ビジョン・ランゲージモデルをリモートセンシングドメインに適応させるためにどの程度有効か？
• RQ3 RS5Mでドメイン特化型事前学習を施したモデルは、一般モデルと比較してゼロショット分類、リtrieval、ロケライゼーション性能をどの程度向上させるか？
• RQ4 RS5Mで微調整されたビジョン・ランゲージモデルは、ベーシックな拡散モデルと比較して、より現実的で意味的に整合性の取れたリモートセンシング画像を生成できるか？
• RQ5 大規模なRS画像・テキストデータセットを構築するにあたり、主な課題とリスクは何か。それらはどのように軽減できるか？

主な発見

• GeoRSCLIPは、リモートセンシングベンチマークにおいて、ベースラインのCLIPモデルと比較して、ゼロショット分類精度を3%～20%向上させた。
• リモートセンシングクロスモーダルテキスト・画像リtrieval（RSCTIR）タスクにおいて、リtrieval性能を3%～6%向上させた。
• セマンティックロケライゼーション（SeLo）性能は、ベースラインおよび過去の最先端モデルと比較して4%～5%向上した。
• RS5Mの1%で微調整したStable Diffusionモデル（RS-SD）は、Fréchet Inception Distance（FID）スコア28.32を達成し、ベーシックなStable Diffusionの36.86と比較して顕著に優れた画像生成品質を示した。
• 外れ値分析の結果、RS5Mの画像のうち0.8%が非RSと誤分類され、削除された画像のうち3.4%が誤ってフィルタリングされたと判明し、データ品質の高さとフィルタリングの堅牢性が裏付けられた。
• データセットとモデルは非営利学術利用ライセンスで公開されており、メタデータおよび画像・テキストペアはGitHubおよびクラウドストレージを通じて研究利用可能である。