[論文レビュー] GeoAgent: Learning to Geolocate Everywhere with Reinforced Geographic Characteristics

Modi Jin, Yiming Zhang+4 more|arXiv (Cornell University)|Feb 13, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

GeoAgent は、人間の思考過程が注釈された新しい GeoSeek データセットと geo-類似性・一貫性報酬を用いて、強化学習型 VLLM を訓練し、人間のような推論と高い粒度で画像を局在化。複数の地理位置デ benchmarks でベースラインを上回る。

ABSTRACT

This paper presents GeoAgent, a model capable of reasoning closely with humans and deriving fine-grained address conclusions. Previous RL-based methods have achieved breakthroughs in performance and interpretability but still remain concerns because of their reliance on AI-generated chain-of-thought (CoT) data and training strategies, which conflict with geographic characteristics. To address these issues, we first introduce GeoSeek, a new geolocation dataset comprising CoT data annotated by geographic experts and professional players. We further thoroughly explore the inherent characteristics of geographic tasks and propose a geo-similarity reward and a consistency reward assessed by a consistency agent to assist training. This encourages the model to converge towards correct answers from a geographic perspective while ensuring the integrity and consistency of its reasoning process. Experimental results show that GeoAgent outperforms existing methods and a series of general VLLMs across multiple grains, while generating reasoning that closely aligns with humans.

研究の動機と目的

• 人間のような推論と細かな局在性を要する地理定位を、単純な座標一致以上のタスクとして動機づける。
• 人間が注釈した思考過程と細粒度の位置ラベルを持つデータセット GeoSeek を導入し、RL に基づく学習を支える。
• 地理的特徴に沿った推論を誘導し、コト(CoT) の整合性を保証する地理類似性報酬（空間+意味）と一貫性報酬を提案する。
• GeoSeek-CoT での SFT の後、GeoSeek-Loc での GRPO ベース強化学習を経る 2 段階の訓練パイプラインを開発し、局在精度と推論品質を向上させる。

提案手法

• GeoSeek を構築し、10k の人間注釈付き推論トレースを含む GeoSeek-CoT と、10k のバイアス低減サンプリングを用いた GeoSeek-Loc（20k のストリートビュー画像を含む）を作成する。
• 空間的類似性（距離ベース）と意味的類似性（テキストエンコーディング）を組み合わせた geo-similarity 報酬を定義し、地理的に正しく、意味的に整合した回答へと収束を導く。
• 別個の一貫性エージェントによって評価される一貫性報酬を導入し、高品質で一貫した CoT 推論を促進する。
• GeoSeek-CoT での教師付きファインチューニングを経た後、GeoSeek-Loc と geo-similarity 報酬を用いた GRPO ベースの強化学習で GeoAgent を訓練する（2 段階）。
• Policy を最適化するために PPO に似た目的関数を使用し、バッチ内候補報酬を利用する（GRPO フレームワーク）。
• 基盤モデルのファインチューニングと別個の一貫性エージェントを用いた 2 モデル構成と、地理報酬を算出するための OpenCage のジオコーディング/反ジオコーディングを利用する。

実験結果

リサーチクエスチョン

• RQ1 地理的特徴と整合する人間のような多段階推論を地理定位モデルは学習できるか。AI が生成した CoT のみではなく。
• RQ2 geo-similarity（空間と意味）と一貫性を意識した学習ループを組み込むと、粗い地理粒度から細かな粒度までの精度と推論品質の両方が向上するか。
• RQ3 bias-aware な GeoSeek データセットは、既存データセットと比較して RL ベースの地理定位の性能にどのような影響を与えるか。
• RQ4 2 段階の SFT + GRPO 訓練 regime は、オープンワールド地理定位タスクへの一般化にどのように影響するか。

主な発見

• GeoAgent は、複数の地理的粒度で既存手法およびいくつかの一般的な VLLM を上回る。
• geo-similarity 報酬（空間+意味）は、訓練信号を地理的タスクとより良く整合させ、直接のテキスト等価性報酬より優れている。
• 一貫性報酬は CoT の整合性を改善し、収束後は空間的・意味的報酬の両方を向上させる。
• GeoSeek-CoT によるコールドスタートは、 Domain 非データからの訓練と比較して性能を大幅に向上させる。
• GeoAgent は GeoSeek-Val で顕著な改善を達成し、局在性と地理要素の分割を含むさまざまな地理的手掛かりの理解が堅牢であることを示す。
• アブレーションにより、各報酬成分が性能に寄与し、空間報酬が直接的な強い信号を提供し、一貫性報酬がより難しい地域・市レベルを支援することが示された。