[논문 리뷰] Tree-GPT: Modular Large Language Model Expert System for Forest Remote Sensing Image Understanding and Interactive Analysis

Siqi Du, Shengjun Tang외 3명|arXiv (Cornell University)|2023. 10. 07.

Remote Sensing and LiDAR Applications인용 수 4

한 줄 요약

Tree-GPT는 이미지 이해, 도메인 전문 지식 기반 및 코드 생성을 통합하여 숲 원격 감시 이미지의 자연어 기반 분석을 가능하게 하는 모듈식 대규모 언어 모델(LM) 전문 시스템입니다. Segment Anything Model(SAM)을 활용한 나무 분할과 로컬 LLM 에이전트를 통한 코드 실행을 통해 최소한의 사용자 간섭으로도 정확하고 상호작용이 가능하며 효율적인 개별 나무 파arameter 및 생태 패턴 분석을 달성합니다.

ABSTRACT

This paper introduces a novel framework, Tree-GPT, which incorporates Large Language Models (LLMs) into the forestry remote sensing data workflow, thereby enhancing the efficiency of data analysis. Currently, LLMs are unable to extract or comprehend information from images and may generate inaccurate text due to a lack of domain knowledge, limiting their use in forestry data analysis. To address this issue, we propose a modular LLM expert system, Tree-GPT, that integrates image understanding modules, domain knowledge bases, and toolchains. This empowers LLMs with the ability to comprehend images, acquire accurate knowledge, generate code, and perform data analysis in a local environment. Specifically, the image understanding module extracts structured information from forest remote sensing images by utilizing automatic or interactive generation of prompts to guide the Segment Anything Model (SAM) in generating and selecting optimal tree segmentation results. The system then calculates tree structural parameters based on these results and stores them in a database. Upon receiving a specific natural language instruction, the LLM generates code based on a thought chain to accomplish the analysis task. The code is then executed by an LLM agent in a local environment and . For ecological parameter calculations, the system retrieves the corresponding knowledge from the knowledge base and inputs it into the LLM to guide the generation of accurate code. We tested this system on several tasks, including Search, Visualization, and Machine Learning Analysis. The prototype system performed well, demonstrating the potential for dynamic usage of LLMs in forestry research and environmental sciences.

연구 동기 및 목표

• 일반 목적의 LLM이 숲 원격 감시 이미지를 이해하고 정확한 도메인 특화 지식을 생성하는 데에 한계가 있음을 해결하기 위해.
• 산림 연구에서 개별 나무 분할 및 생태학적 파arameter 분석에 소요되는 시간과 전문 지식 요구를 줄이기 위해.
• 이미지 이해, 지식 검색 및 코드 생성을 통합한 상호작용적 실시간 데이터 분석을 위한 모듈식 시스템을 개발하기 위해.
• 연구자가 자연어 지시어를 통해 시각화, 머신러닝 및 통계 모델링과 같은 복잡한 데이터 분석 작업을 수행할 수 있도록 하기 위해.

제안 방법

• 시스템은 고해상도 RGB 및 LiDAR 데이터에서 최적의 나무 분할 결과를 도출하기 위해 자동 또는 상호작용적으로 생성된 프롬프트를 사용한 Segment Anything Model(SAM)을 활용합니다.
• 분할 결과에서 나무 구조 파arameter(예: 冠 폭, 높이)가 추출되어 구조화된 데이터베이스에 저장되어 검색 가능하게 됩니다.
• Chroma 벡터 데이터베이스와 FAISS를 사용하여 도메인 특화 지식 기반을 구축하고, 유사도 임계값 0.6을 설정하여 정확한 생태학적 지식 검색을 가능하게 합니다.
• LLM 실행 에이전트는 LangChain을 활용해 자연어 지시어를 하위 작업으로 분해하고 코드를 생성하며, 보안이 확보된 로컬 환경에서 실행하여 정확성과 재현 가능성을 확보합니다.
• 사고 체인 프롬프팅을 활용해 코드 생성 및 검증을 안내함으로써 통계 모델링 및 시각화와 같은 작업에서 신뢰성을 향상시킵니다.
• Chroma 데이터베이스에서 의미 기반 검색을 통해 지식 검색을 수행하고, 검색된 텍스트 블록을 맥락으로 활용해 LLM이 정확하고 도메인 특화된 응답을 생성하도록 유도합니다.

Figure 1: Overall Framework of the Tree-GPT.

실험 결과

연구 질문

• RQ1 모듈식 LLM 전문 시스템은 자연어 지시어를 통해 숲 원격 감시 이미지를 효과적으로 해석하고 개별 나무의 구조 파arameter를 추출할 수 있는가?
• RQ2 이미지 이해 및 도메인 특화 지식을 통합함으로써 LLM의 환상 현상을 줄이고 생태학적 파arameter 추정의 정확성을 향상시킬 수 있는가?
• RQ3 자연어 기반 코드 생성이 산림 원격 감시 분석 워크플로우에서 전통적 프로그래밍을 얼마나 대체할 수 있는가?
• RQ4 이미지 분할, 지식 검색 및 코드 실행의 통합은 나무 수준의 생태학적 데이터에 대한 상호작용적 실시간 분석을 가능하게 하는가?

주요 결과

• Tree-GPT는 프롬프트 최적화를 통해 SAM을 활용한 개별 나무 冠 탐지에서 수동 레이블링과 비교하거나 그 이상의 정확도를 달성하여 높은 정확도를 입증했습니다.
• 간단한 작업의 경우, 시스템은 단 한 번의 시도로 정확한 시각화 출력(예: 산점도, 상자 그림, 나무 성장도)을 생성했으며, 복잡한 시각화에서는 미세한 보정이 필요했습니다.
• 생태학적 파arameter 추정에서, Tree-GPT는 나무 높이의 가우시안 분포 파aram터를 정확히 계산하고 RMSE를 신뢰도 측정 기준으로 사용하여 신뢰할 수 있는 통계 분석 성능을 보였습니다.
• LLM 실행 에이전트는 회귀 및 분류와 같은 작업을 위한 머신러닝 코드를 성공적으로 생성하고 실행하여 수동 코딩 대비 분석에 소요되는 시간을 줄였습니다.
• 지식 기반 질의에서 시스템은 유사도 점수가 0.6를 초과할 경우 높은 관련성으로 생태학적 개념을 검색하고 설명하는 데 뛰어난 성능을 보였습니다.
• 다중 작업 평가에서 Tree-GPT는 자연어 지시어를 통해 검색, 시각화 및 머신러닝 작업을 효과적으로 처리하여 환경 연구 분야에서 동적이고 상호작용 가능한 활용 가능성을 확인했습니다.

Figure 2: Visualization of individual tree crown(ITC) segmentation results. The first line shows tree crown segmentation results (segmentation in 2D). The second line shows individual tree point cloud segmentation results (3D segmentation by projecting 2D results to point cloud).