[論文レビュー] VHM: Versatile and Honest Vision Language Model for Remote Sensing Image Analysis

Chao Pang, Xingxing Weng+9 more|arXiv (Cornell University)|Mar 29, 2024

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本稿では、空間的認識力とオブジェクト理解を向上させるために、140万件の詳細な画像-キャプションペアを含む大規模で高品質なデータセット HqDC-1.4M と、幻覚を低減するための自己認識を訓練するための最初の自己認識データセットである RSSA を活用した、多様性と誠実さに優れたリモートセンシング視覚言語モデル H2RSVLM を提案する。H2RSVLM は、複数の RS ベンチマークで最先端の性能を達成するとともに、答えのない質問に対して強力な拒否能力を示している。

ABSTRACT

This paper develops a Versatile and Honest vision language Model (VHM) for remote sensing image analysis. VHM is built on a large-scale remote sensing image-text dataset with rich-content captions (VersaD), and an honest instruction dataset comprising both factual and deceptive questions (HnstD). Unlike prevailing remote sensing image-text datasets, in which image captions focus on a few prominent objects and their relationships, VersaD captions provide detailed information about image properties, object attributes, and the overall scene. This comprehensive captioning enables VHM to thoroughly understand remote sensing images and perform diverse remote sensing tasks. Moreover, different from existing remote sensing instruction datasets that only include factual questions, HnstD contains additional deceptive questions stemming from the non-existence of objects. This feature prevents VHM from producing affirmative answers to nonsense queries, thereby ensuring its honesty. In our experiments, VHM significantly outperforms various vision language models on common tasks of scene classification, visual question answering, and visual grounding. Additionally, VHM achieves competent performance on several unexplored tasks, such as building vectorizing, multi-label classification and honest question answering. We will release the code, data and model weights at https://github.com/opendatalab/VHM .

研究の動機と目的

• リモートセンシング（RS）ドメイン固有の画像特徴と空間的認識の限界により、汎用的大規模視覚言語モデル（VLM）の性能が低いという問題に対処すること。
• 既存の RS 専用 VLM（RSVLM）が、訓練データが不足しており、答えのない質問に対して耐性が低いという限界を克服すること。
• 詳細で属性豊富なキャプションを備えた大規模かつ高品質な RS 視覚言語データセット（HqDC-1.4M）を構築し、モデルの理解力と空間推論能力を向上させること。
• 幻覚を低減するため、答えのない質問の例を通じてモデルの自己認識能力を向上させる目的で設計された、最初のデータセットである RSSA を導入すること。
• リモートセンシング画像解析タスクにおいて、高い有用性と誠実さの両方を達成する H2RSVLM の構築と評価すること。

提案手法

• Gemini-Vision を用いて、オブジェクト種別、属性（色、形状、位置）および季節的変化などの動的特徴をカバーする詳細で豊富なキャプションを生成することで、140万枚の画像-キャプションペアを含む HqDC-1.4M を構築した。
• VLM から包括的で流れのよい、属性豊富な記述を引き出すためのプロンプト工学戦略を設計し、空間的認識力および局所化能力を強化した。
• 標準的な視覚質疑応答タスクに答えのない質問を組み込むことで、モデルが誤った生成を拒否する能力を学習できるようにするため、RS VLM 向けの自己認識データセット RSSA を作成した。
• 分類、VQA、視覚的グランドイングタスクをカバーするマルチタスクインstructデータセット（RS-ClsQaGrd-Instruct）を用いて、ビジョンエンコーダー（CLIP からの ViT）と言語ヘッドをファインチューニングした。
• HqDC-1.4M と RSSA を統合した一貫したトレーニングパイプラインを構築し、H2RSVLM アーキテクチャにおいて有用性と誠実さの両方を同時に最適化した。
• 分類、VQA、視覚的グランドイングタスクをカバーする複数の公開 RS ベンチマーク（RS-ClsQaGrd-Instruct、RS-Specialized-Instruct、RSSA）を用い、タスク固有の指標でモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ高品質な視覚言語データセットは、リモートセンシング VLM の空間的認識力とオブジェクト理解力の向上に顕著な効果をもたらすか？
• RQ2 答えのない質問を通じた自己認識トレーニングは、RS VLM における幻覚をどの程度低減できるか？
• RQ3 詳細なキャプションと自己認識データの組み合わせは、1つの VLM において有用性と誠実さの両方をどのように向上させるか？
• RQ4 H2RSVLM は、分類、数え上げ、視覚的グランドイング、ベクトル化などの多様な RS タスクに一般化可能か？
• RQ5 H2RSVLM は、ベースラインモデルと比較して、答えのない質問に対してどの程度の性能を示し、信頼性のある拒否行動を示しているか？

主な発見

• H2RSVLM は、GID では分類タスクで F1 スコア 85.77%、FBP では 72.20% を達成し、複数の RS ベンチマークで最先端の性能を示した。
• 視覚的グランドイングタスクでは、CrowdAI-val で C-IoU 70.41% を達成し、高い局所化精度を示した。
• 数え上げタスクでは、平均絶対誤差（MAE）が 6.22 であったため、優れたオブジェクト数え上げ能力を示した。
• RSSA ベンチマークの答えのない質問に対して、H2RSVLM は頑健な拒否行動を示し、幻覚の低減に成功した。
• 可視化結果から、H2RSVLM は視覚的グランドイングタスクにおいて大規模なオブジェクトでは良好に動作するが、小規模なオブジェクトでは困難を示しており、これは入力解像度の制限（336×336）によるものと推定される。
• 質的結果による検証を通じて、マルチラベル土地被覆分類、画像タイプ識別、グランドサンプリング距離推定においても、H2RSVLM は優れた性能を示した。