[論文レビュー] SkySenseGPT: A Fine-Grained Instruction Tuning Dataset and Model for Remote Sensing Vision-Language Understanding

Junwei Luo, Zhen Pang+9 more|arXiv (Cornell University)|Jun 14, 2024

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本稿では、関係推論やシーングラフ生成といった複雑な理解タスクを含む、細分化された遠隔センシング視覚言語理解のための、大規模（180万件のサンプル）の指示微調整データセットであるFIT-RSを紹介する。FIT-RSを基盤として、著者らはSkySenseGPTを構築し、公開ベンチマークおよび新規のFIT-RSFGおよびFIT-RSRCベンチマークにおいて、既存のモデルを上回る性能を発揮し、細分化された空間的関係理解を著しく向上させた。

ABSTRACT

Remote Sensing Large Multi-Modal Models (RSLMMs) are developing rapidly and showcase significant capabilities in remote sensing imagery (RSI) comprehension. However, due to the limitations of existing datasets, RSLMMs have shortcomings in understanding the rich semantic relations among objects in complex remote sensing scenes. To unlock RSLMMs' complex comprehension ability, we propose a large-scale instruction tuning dataset FIT-RS, containing 1,800,851 instruction samples. FIT-RS covers common interpretation tasks and innovatively introduces several complex comprehension tasks of escalating difficulty, ranging from relation reasoning to image-level scene graph generation. Based on FIT-RS, we build the FIT-RSFG benchmark. Furthermore, we establish a new benchmark to evaluate the fine-grained relation comprehension capabilities of LMMs, named FIT-RSRC. Based on combined instruction data, we propose SkySenseGPT, which achieves outstanding performance on both public datasets and FIT-RSFG, surpassing existing RSLMMs. We hope the FIT-RS dataset can enhance the relation comprehension capability of RSLMMs and provide a large-scale fine-grained data source for the remote sensing community. The dataset will be available at https://github.com/Luo-Z13/SkySenseGPT

研究の動機と目的

• 既存の遠隔センシングLMMにおける細分化された空間的関係理解の不足を、限定的で単純な指示微調整データの欠如によって解消すること。
• 遠隔センシングにおける細分化された関係理解を評価する包括的なベンチマークを構築し、標準化された評価プロトコルの欠如に対処すること。
• 基本的なタスクと、画像レベルおよび領域レベルのシーングラフ生成を含む、新しい複雑な推論タスクをカバーする大規模かつ高品質な指示微調整データセット（FIT-RS）を構築すること。
• 一般および細分化された遠隔センシング理解タスクの両方で優れた性能を発揮する、最先端のRSLMM（SkySenseGPT）を訓練すること。
• 研究コミュニティが利用可能なスケーラブルなリソースを提供し、遠隔センシングにおける細分化された視覚言語理解を前進させること。

提案手法

• 著者らは、遠隔センシング画像から得られた180万件のサンプルを有する指示微調整データセットであるFIT-RSを構築した。このデータセットは、熟練者およびLLMによる補強付きのアノテーションを用いて、細分化された空間的関係をカバーしている。
• このデータセットには、画像キャプション作成、VQA、オブジェクト検出、マルチラベルシーン分類に加え、領域レベルおよび画像レベルの両方で行う関係推論やシーングラフ生成といった、新しい複雑なタスクを含む多様なタスクが含まれる。
• FIT-RSFGベンチマークは、FIT-RSに含まれる全タスク、特に細分化された理解を含む、モデルのパフォーマンスを評価するために確立された。
• FIT-RSRCベンチマークは、遠隔センシングにおける関係理解を専用に評価するための最初の評価スイートとして導入され、熟練者が選別した共通の常識に基づく誤り選択肢（ダミー選択肢）を用いたCircularEval戦略が採用された。
• SkySenseGPTは、FIT-RSからの統合された指示データを用いて訓練され、複雑な空間的推論タスクにわたる一般化能力を活用した。
• データセットおよびモデルはGitHub経由で公開され、コミュニティのアクセス性と再現可能性を確保した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ細分化された指示微調整データセットは、遠隔センシングLMMの空間的関係理解をどのように向上させるか？
• RQ2 既存のRSLMMは、画像レベルのシーングラフ生成のような複雑な遠隔センシング理解タスクに、どの程度一般化できるか？
• RQ3 新規のベンチマーク（FIT-RSRC）は、遠隔センシングにおけるLMMの細分化された関係理解能力を、効果的かつ公平に評価できるか？
• RQ4 SkySenseGPTは、公開ベンチマークおよび新規に提案されたFIT-RSFGおよびFIT-RSRCベンチマークにおいて、既存のRSLMMと比較してどのように差をつけるか？
• RQ5 熟練者およびLLMによる補強された共通の常識に基づく関係オブジェクト語リストの統合は、モデルの頑健性および評価の公平性にどのような影響を与えるか？

主な発見

• SkySenseGPTは、公開された遠隔センシングベンチマークにおいて最先端のパフォーマンスを達成し、優れた一般化能力および理解能力を示した。
• 新規に提案されたFIT-RSFGベンチマークにおいて、既存のRSLMMを著しく上回る性能を発揮し、多様な複雑なタスクにわたる細分化された理解能力を評価した。
• 遠隔センシングにおける関係理解を専用に評価する最初のベンチマークであるFIT-RSRCは、SkySenseGPTが未学習の空間的推論パターンに対しても高い正確性で一般化できることを示した。
• FIT-RSRCにおける熟練者が選別したおよびGPT-4で補強されたダミー選択肢の使用により、評価の公平性が向上し、テキストのみの推測戦略を防げた。
• FIT-RSデータセットには1,800,851件の高品質な指示サンプルが含まれており、画像キャプションの平均トークン数は619.21であり、高品質で意味的に豊富な内容であることが示された。
• データセットには、領域レベルおよび画像レベルのシーングラフ生成といった、新たな段階的複雑さを持つタスクが含まれており、モデルが階層的な空間的関係を学習できるようにした。