[論文レビュー] VLRS-Bench: A Vision-Language Reasoning Benchmark for Remote Sensing

Zhiming Luo, Di Wang+3 more|arXiv (Cornell University)|Feb 4, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

VLRS-Benchはリモートセンシングにおける複雑なマルチモーダル推論の最初のベンチマークであり、一般的なMLLMのボトルネックを明らかにし、RS特有の推論要件を強調する。

ABSTRACT

Recent advancements in Multimodal Large Language Models (MLLMs) have enabled complex reasoning. However, existing remote sensing (RS) benchmarks remain heavily biased toward perception tasks, such as object recognition and scene classification. This limitation hinders the development of MLLMs for cognitively demanding RS applications. To address this, , we propose a Vision Language ReaSoning Benchmark (VLRS-Bench), which is the first benchmark exclusively dedicated to complex RS reasoning. Structured across the three core dimensions of Cognition, Decision, and Prediction, VLRS-Bench comprises 2,000 question-answer pairs with an average length of 71 words, spanning 14 tasks and up to eight temporal phases. VLRS-Bench is constructed via a specialized pipeline that integrates RS-specific priors and expert knowledge to ensure geospatial realism and reasoning complexity. Experimental results reveal significant bottlenecks in existing state-of-the-art MLLMs, providing critical insights for advancing multimodal reasoning within the remote sensing community.

研究の動機と目的

• リモートセンシング（RS）における認知主導型かつドメイン認識型のマルチモーダル推論の必要性を動機づけ、定量化する。
• 高次のRS推論タスクを評価する階層的構造ベンチマーク（Cognition, Decision, Prediction）を提供する。
• タスクの地理空間的現実性を確保するためにRSプライオリティ（DSM、NIR、 expert masks）と多時相データを組み込む。
• 専門的グラウンディングを伴う挑戦的推論タスクを自動化・RS適合型パイプラインで生成・検証する。

提案手法

• 三段階の推論分類を定義（Cognition, Decision, Prediction）と六つのL-2能力、十四のL-3タスクを設定する。
• RS priors（DSM、NIR）、専門マスク、多時相参照を組み合わせてマルチモーダル指示を創出する自動化パイプライン。
• GPT-5-chatを用いてQAアイテムを生成し、それをMCQ、true/false、fill-in-the-blankなど複数形式に変換する。
• 三段階の検証：自動フィルタリング、複数MLLMのクロス検証、人間専門家レビューを行いタスク品質とグラウンディングを確保する。
• 標準化されたプロンプトでゼロショット設定の広範なMLLMを評価する（一般・RS専門モデルの両方）。
• 次元別およびタスク別の性能を報告し、認知・計画・時系列予測のボトルネックを診断する。

Figure 1 : Pipeline for constructing VLRS-Bench. The process integrates the target RGB image with multi-source remote sensing priors ( e.g . , DSM and expert masks) to form a structured multimodal instruction, which guides a GPT-5-chat to produce reasoning tasks across cognitive dimensions. Each gen

実験結果

リサーチクエスチョン

• RQ1 現在のMLLMはRSシナリオにおける静的知覚を超える真の地理空間認知を行えるか。
• RQ2 RS推論における認知、意思決定、予測の各側面でモデル能力はどう異なるか。
• RQ3 RSプライオリティ（DSM、NIR、マスク）と多時相参照は推論の現実味とタスク難易度へどのような影響を及ぼすか。
• RQ4 RS専用MLLMは複雑なRS推論タスクで汎用MLLMを上回るか、どこにギャップが残るか。

主な発見

• 一般的なMLLMは静的な認知に比べて時間的・時空的推論が弱い。
• RS特化のMLLMは複数の推論側面で大規模な一般モデルを上回るが、複雑な意思決定と長期的な予測には難しさを抱える。
• 意味論的統合タスクは現在のモデルにとって機械的相互作用推論よりも扱いやすい。
• 回答空間が複雑になるほどモデル性能は低下する（マルチチョイス、空欄補充）。
• 意思決定タスクはモデル規模とともに改善するが、計画と評価は分離して（PR対ER）扱われることがある。
• 予測タスクはローカルなオブジェクトレベルの予測からグローバルなシーン変化へと難易度が上昇し、不確実性への感度が高まる。

Figure 2 : Avg. Score of various MLLMs across four QA-types. The distinct color coding ( e.g . Qwen2.5-VL-32B in Blue , GPT-4o-mini in Yellow ) highlights a critical phenomenon: a sharp performance drop from Single-Choice to Multi-Choice and Fill in Blank tasks. This trend, consistent across model s