[論文レビュー] UrbanVLP: Multi-Granularity Vision-Language Pretraining for Urban Socioeconomic Indicator Prediction

Xixuan Hao, Wei Chen+5 more|arXiv (Cornell University)|Mar 25, 2024

Land Use and Ecosystem Services被引用数 5

ひとこと要約

UrbanVLP はマクロ衛星データとマイクロ街路ビュー情報を統合した多粒度の vision-language pre-trained model を導入し、解釈性を改善する自動テキスト生成とキャリブレーションを用いて都市指標予測を高めます。

ABSTRACT

Urban socioeconomic indicator prediction aims to infer various metrics related to sustainable development in diverse urban landscapes using data-driven methods. However, prevalent pretrained models, particularly those reliant on satellite imagery, face dual challenges. Firstly, concentrating solely on macro-level patterns from satellite data may introduce bias, lacking nuanced details at micro levels, such as architectural details at a place. Secondly, the text generated by the precursor work UrbanCLIP, which fully utilizes the extensive knowledge of LLMs, frequently exhibits issues such as hallucination and homogenization, resulting in a lack of reliable quality. In response to these issues, we devise a novel framework entitled UrbanVLP based on Vision-Language Pretraining. Our UrbanVLP seamlessly integrates multi-granularity information from both macro (satellite) and micro (street-view) levels, overcoming the limitations of prior pretrained models. Moreover, it introduces automatic text generation and calibration, providing a robust guarantee for producing high-quality text descriptions of urban imagery. Rigorous experiments conducted across six socioeconomic indicator prediction tasks underscore its superior performance.

研究の動機と目的

• マクロのみの衛星アプローチにおけるバイアスを都市指標予測で動機づけて対処する。
• マクロ（衛星）とマイクロ（街路ビュー）データを統合したリッチな都市表現のための vision-language pretraining フレームワークを開発する。
• 予測の解釈性を高める自動テキスト生成とキャリブレーション機構を導入する。
• エンコーダを凍結した状態で下流の都市指標予測のためのスケーラブルで解釈可能なベースラインと複数の都市指標タスクに対するベンチマークを提供する。

提案手法

• 2 段階フレームワーク: (i) ShareGPT4V を用いた街路ビュー画像の自動テキスト生成とプロンプト設計および PerceptionScore ベースのキャリブレーション; (ii) デュアルブランチ対比学習を用いた多粒度クロスモーダル整合性 (衛星レベルのグローバル画像-テキスト整合性と街路ビューレベルの細粒度トークン-テキスト整合性) と位置エンベディングの統合。
• 衛星と街路ビューのストリームの ViT ベースのエンコーダを使用し、別個のテキストエンコーダと GeoCLIP に触発された位置エンコーダを用いて地理座標を注入する。
• グローバルな対比損失 LCG を画像-テキストおよびテキスト-画像項目で適用し衛星レベルの表現を整合させる; 街路ビューのトークンとテキストトークンを細粒度に整合させる LCL を用いたトークンレベルの類似性と対比損失を適用する。
• 衛星特徴、集約された街路ビュー特徴、位置特徴を結合して領域表現を形成する; エンコーダを固定した後で下流の都市指標予測のために軽量な MLP を訓練する。
• Stage 2 では凍結特徴に対して線形プローピングを行い Y = MLP(e_sa, e_sv, e_t) によって都市指標を予測する。
• 自動テキスト生成と参照なしでのテキスト品質を評価する PerceptionScore（CLIPScore と CycleScore の組み合わせ）を導入する; CycleScore はテキストから画像生成（SDXL）を用い、セグメンテーションベースの MAE によって視覚-意味的忠実性を保証する。

Figure 1. Single-granularity vs. Multi-granularity modeling.

実験結果

リサーチクエスチョン

• RQ1 RQ1: UrbanVLP はベースラインを上回り、都市指標タスク間で一般化できるか？
• RQ2 RQ2: 衛星（マクロ）と街路ビュー（ミクロ）ブランチ、および位置エンコーディングは性能にどのように寄与するか？
• RQ3 RQ3: 自動テキスト生成とキャリブレーションがテキスト品質と下流予測に与える影響は？
• RQ4 RQ4: UrbanVLP の実用性と展開の実現性（例: ウェブプラットフォームを通じて）とは？

主な発見

• UrbanVLP は報告タスクでベースラインより平均的な R^2 が 3.55% 向上する優れた性能を発揮する。
• 多粒度のクロスモーダル整合性はマクロ衛星情報とマイクロ街路ビュー情報の両方を活用して領域表現を強化する。
• PerceptionScore を用いた認識ベースのキャリブレーションによる自動テキスト生成は、画像内容と一致する高品質な説明をもたらす。
• 6つの下流指標にわたる実験では、UrbanVLP は UrbanCLIP バリアントや PG-SimCLR などのいくつかのベースラインより予測力が強いことを示す。
• 著者らは展開されたウェブプラットフォームを通じて実用性を検証し、エンドツーエンドの適用性を示す。

Figure 2. $R^{2}$ performance on Beijing and Shenzhen dataset.