[논문 리뷰] Vision-Language Agents for Interactive Forest Change Analysis

James A. Brock, Ce Zhang외 1명|arXiv (Cornell University)|2026. 01. 08.

Remote-Sensing Image Classification인용 수 0

한 줄 요약

본 논문은 다층 변화 해석 비전-언어 백본을 갖춘 LLM 주도 에이전트를 제시하여 대화형 산림 변화 분석을 수행하고 Forest-Change 데이터셋을 도입합니다.

ABSTRACT

Modern forest monitoring workflows increasingly benefit from the growing availability of high-resolution satellite imagery and advances in deep learning. Two persistent challenges in this context are accurate pixel-level change detection and meaningful semantic change captioning for complex forest dynamics. While large language models (LLMs) are being adapted for interactive data exploration, their integration with vision-language models (VLMs) for remote sensing image change interpretation (RSICI) remains underexplored. To address this gap, we introduce an LLM-driven agent for integrated forest change analysis that supports natural language querying across multiple RSICI tasks. The proposed system builds upon a multi-level change interpretation (MCI) vision-language backbone with LLM-based orchestration. To facilitate adaptation and evaluation in forest environments, we further introduce the Forest-Change dataset, which comprises bi-temporal satellite imagery, pixel-level change masks, and multi-granularity semantic change captions generated using a combination of human annotation and rule-based methods. Experimental results show that the proposed system achieves mIoU and BLEU-4 scores of 67.10% and 40.17% on the Forest-Change dataset, and 88.13% and 34.41% on LEVIR-MCI-Trees, a tree-focused subset of LEVIR-MCI benchmark for joint change detection and captioning. These results highlight the potential of interactive, LLM-driven RSICI systems to improve accessibility, interpretability, and efficiency of forest change analysis. All data and code are publicly available at https://github.com/JamesBrockUoB/ForestChat.

연구 동기 및 목표

• 산림 변화의 정확한 픽셀 단위 탐지와 산림 역학의 의미 있는 시맨틱 캡션 생성.
• 여러 원격탐사 변화 해석 작업에 걸친 자연어 질의를 가능하게 한다.
• 산림 환경에서의 평가를 촉진하기 위한 데이터셋과 벤치마크를 제공한다.

제안 방법

• 다단계 변화 해석(MCI) 비전-언어 백본 개발.
• 대화형 RSICI 워크플로를 이끌기 위한 LLM 기반 오케스트레이션 도입.
• 이중 시점 영상, 픽셀 수준 마스크 및 시맨틱 변화 캡션을 포함한 Forest-Change 데이터셋 생성.
• 변화 탐지 및 캡션 작성을 평가하기 위해 Forest-Change와 LEVIR-MCI-Trees 벤치마크에서 평가.
• 재현 및 적응을 가능하게 하기 위해 데이터와 코드를 공개한다.

실험 결과

연구 질문

• RQ1 LLM 주도 에이전트가 탐지와 캡션에 걸친 RSICI 작업을 효과적으로 조정할 수 있는가?
• RQ2 LLM 오케스트레이션이 결합된 MCI-VLM이 산림 맥락에서 픽셀 수준 변화 탐지와 시맨틱 캡션 작성에 어떤 성능을 보이는가?
• RQ3 Forest-Change 데이터셋이 인터랙티브 산림 변화 분석 벤치마킹에 미치는 영향은 무엇인가?

주요 결과

데이터셋	mIoU	BLEU-4
Forest-Change	67.10%	40.17%
LEVIR-MCI-Trees	88.13%	34.41%

• Forest-Change에서 시스템은 67.10% mIoU 및 40.17% BLEU-4를 달성한다.
• LEVIR-MCI-Trees에서 시스템은 88.13% mIoU 및 34.41% BLEU-4를 달성한다.