[논문 리뷰] GeoAgent: Learning to Geolocate Everywhere with Reinforced Geographic Characteristics

Modi Jin, Yiming Zhang외 4명|arXiv (Cornell University)|2026. 02. 13.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

GeoAgent는 인간이 주석한 체인 오브 생각(chain-of-thought)과 지리적 유사도 및 일관성 보상을 활용하여 이미지의 위치를 인간과 유사한 추론과 높은 해상도로 국지화하는 강화 학습 VLLM을 훈련시키고, 여러 지리 위치 벤치마크에서 기준 방법들을 능가합니다.

ABSTRACT

This paper presents GeoAgent, a model capable of reasoning closely with humans and deriving fine-grained address conclusions. Previous RL-based methods have achieved breakthroughs in performance and interpretability but still remain concerns because of their reliance on AI-generated chain-of-thought (CoT) data and training strategies, which conflict with geographic characteristics. To address these issues, we first introduce GeoSeek, a new geolocation dataset comprising CoT data annotated by geographic experts and professional players. We further thoroughly explore the inherent characteristics of geographic tasks and propose a geo-similarity reward and a consistency reward assessed by a consistency agent to assist training. This encourages the model to converge towards correct answers from a geographic perspective while ensuring the integrity and consistency of its reasoning process. Experimental results show that GeoAgent outperforms existing methods and a series of general VLLMs across multiple grains, while generating reasoning that closely aligns with humans.

연구 동기 및 목표

• 지리 위치 지정을 간단한 좌표 매칭을 넘어 사람과 유사한 추론 및 미세한 지역성 요구하는 과제로 동기를 부여합니다.
• RL 기반 학습을 지원하기 위해 인간이 주석한 체인 오브 생각(chain-of-thought)과 미세한 위치 라벨을 포함한 데이터세트인 GeoSeek를 도입합니다.
• 지리적 특성과 일관된 CoT 무결성을 보장하기 위해 공간적 + 의미적 지리 유사성 보상과 일관성 보상을 제시합니다.
• GeoSeek-CoT에 대한 SFT를 먼저 수행하고 이어서 GRPO 기반 미세 조정으로 위치 정확도와 추론 품질을 향상시키는 두 단계 학습 파이프라인으로 GeoAgent를 개발합니다.

제안 방법

• 편향 감소 샘플링을 사용한 GeoSeek-코트(GeoSeek-CoT) 1만 개의 인간 주석 추론 트레이스와 GeoSeek-Loc 2만 개의 스트리트 뷰 이미지를 포함한 GeoSeek를 구성합니다.
• 공간 기반 거리 기반의 공간 유사성과 텍스트 인코딩의 의미적 유사성을 포함하는 지리 유사성 보상이 수렴을 지리적으로 정확하고 의미적으로 일관된 답변으로 안내하도록 정의합니다.
• 서로 다른 일관성 에이전트를 통해 평가되는 일관성 보상을 도입하여 고품질의 일관된 CoT 추론을 촉진합니다.
• GeoSeek-CoT에 대한 감독 학습 미세 조정을 먼저 수행한 뒤, GeoSeek-Loc와 지리 유사성 보상을 사용한 GRPO 기반 강화 학습으로 GeoAgent를 두 단계로 학습합니다.
• 정책 최적화를 위한 PPO 유사 목표와 배치 내 후보 보상을 활용하여 GRPO 프레임워크를 적용합니다.
• 지오코딩/역지오코딩을 위해 OpenCage를 사용하고 두 모델 설정(기본 모델 미세 조정 및 별도 일관성 에이전트)을 통해 지리 보상을 계산합니다.

실험 결과

연구 질문

• RQ1 지리적 특성과의 정합성을 가진 인간과 유사한 다층 추론을 AI가 생성한 CoT만으로 학습하는 것이 아닌지 여부를 평가합니다.
• RQ2 지리 유사성(공간적 + 의미적) 및 일관성 인식 학습 루프를 도입하면 거친 수준에서 세밀한 지리적 세부까지 정확도와 추론 품질이 모두 향상되는지 여부를 평가합니다.
• RQ3 편향 인식이 있는 GeoSeek 데이터세트가 기존 데이터세트와 비교하여 RL 기반 지리 위치 성능에 어떤 영향을 미치는지 평가합니다.
• RQ4 두 단계 SFT + GRPO 학습 체제가 오픈 월드 지리 위치 작업으로의 일반화에 어떤 영향을 미치는지 평가합니다.

주요 결과

• GeoAgent가 여러 지리적 세분성에서 기존 방법 및 다수의 일반 VLLM보다 우수한 성능을 보입니다.
• 지리 유사성 보상(공간 + 의미)은 직접적인 텍스트 일치 보상보다 지리적 작업과의 학습 신호를 더 잘 정렬합니다.
• 일관성 보상은 CoT 무결성을 개선하고 수렴 후 공간적 및 의미적 보상을 모두 향상시킵니다.
• GeoSeek-CoT로의 콜드 스타트가 비도메인 데이터에서의 학습에 비해 성능을 크게 높입니다.
• GeoSeek-Val에서 위치성 및 지리 요소 구간을 포함한 다양한 지리적 단서에 대해 상당한 개선을 보이며 견고한 이해를 나타냅니다.
• 각 보상 구성요소가 성능에 기여함을 확인하는 차등 분석에서 공간 보상이 직접 신호를 크게 제공하고 일관성 보상은 더 어려운 지역/도시 수준에서 도움을 줍니다.