[논문 리뷰] Can Large Language Models Generate Geospatial Code?

Shuyang Hou, Shen Zhangxiao외 5명|arXiv (Cornell University)|2024. 10. 13.

Geographic Information Systems Studies인용 수 5

한 줄 요약

본 논문은 지리공간 코드 작업에서 LLM을 평가하기 위해 GeoCode-Eval (GCE)를 도입하고, 수천 개의 문제로 GeoCode-Bench를 구축하며, 여러 LLM을 평가하여 도메인 특화 코드 생성을 위한 사전 학습/지시 데이터의 개선 효과를 보여준다.

ABSTRACT

With the growing demand for spatiotemporal data processing and geospatial modeling, automating geospatial code generation has become essential for productivity. Large language models (LLMs) show promise in code generation but face challenges like domain-specific knowledge gaps and "coding hallucinations." This paper introduces GeoCode-Eval (GCE), a framework for assessing LLMs' ability to generate geospatial code across three dimensions: "Cognition and Memory," "Comprehension and Interpretation," and "Innovation and Creation," distributed across eight capability levels. We developed a benchmark dataset, GeoCode-Bench, consisting of 5,000 multiple-choice, 1,500 fill-in-the-blank, 1,500 true/false questions, and 1,000 subjective tasks covering code summarization, generation, completion, and correction. Using GeoCode-Bench, we evaluated three commercial closed-source LLMs, four open-source general-purpose LLMs, and 14 specialized code generation models. We also conducted experiments on few-shot and zero-shot learning, Chain of Thought reasoning, and multi-round majority voting to measure their impact on geospatial code generation. Additionally, we fine-tuned the Code LLaMA-7B model using Google Earth Engine-related JavaScript, creating GEECode-GPT, and evaluated it on subjective tasks. Results show that constructing pre-training and instruction datasets significantly improves code generation, offering insights for optimizing LLMs in specific domains.

연구 동기 및 목표

• 자동화된 지리공간 코드 생성을 시공간 데이터 처리 및 지리공간 모델링 동기에 맞춰 촉진한다.
• 인지, 이해, 창작의 3차원 구조 평가 프레임워크(GeoCode-Eval)를 다양한 능력 수준으로 정의한다.
• 지리공간 코드 작업(코드 요약, 생성, 완성, 수정 포함)을 위한 크고 다양한 벤치마크(GeoCode-Bench)를 구축한다.
• Few-shot/zero-shot 학습, Chain of Thought, 다중 라운드 투표가 지리공간 코드 생성에 미치는 영향을 탐구한다.
• 향상된 주관적 작업 성능을 위한 도메인 특화 모델(GEECode-GPT) 미세 조정의 가능성을 평가한다.

제안 방법

• 지리공간 코드 능력을 3차원, 8단계 프레임워크로 설계된 GeoCode-Eval(GCE)을 개발한다.
• 코드 관련 작업에 걸쳐 5,000개의 객관식, 1,500개의 빈칸 채우기, 1,500개의 참/거짓 문제와 1,000개의 주관적 작업으로 GeoCode-Bench를 구성한다.
• GeoCode-Bench에서 3개의 상용 폐쇄 소스 LLM, 4개의 오픈 소스 범용 LLM, 14개의 특화 코드 생성 모델을 평가한다.
• Few-shot 및 zero-shot 프롬프트, Chain of Thought 추론, 다중 라운드 다수결 투표를 실험하여 지리공간 코드 생성의 개선 효과를 평가한다.
• Google Earth Engine(GEE) 관련 JavaScript에 대해 Code LLaMA-7B를 미세 조정하여 GEECode-GPT를 만들고 주관적 작업에 대해 테스트한다.

실험 결과

연구 질문

• RQ1 LLM은 다양한 작업 유형(요약, 생성, 완성, 수정)에서 지리공간 코드를 얼마나 잘 생성하는가?
• RQ2 프롬프트 설계, Few-shot/Zero-shot 학습, Chain of Thought 추론이 지리공간 코드 성능에 미치는 영향은 무엇인가?
• RQ3 도메인 특화 미세 조정(GEECode-GPT)이 주관적 지리공간 코딩 작업을 개선할 수 있는가?
• RQ4 대규모 전문 벤치마크(GeoCode-Bench)가 지리공간 도메인에서 LLM 개선을 유도하는 데 어떤 가치를 제공하는가?

주요 결과

• 사전 학습 데이터와 지시 튜닝이 지리공간 코드 생성 능력에 상당한 영향을 미친다.
• 적절한 프롬프트 및 추론 전략으로 다양한 LLM 계열에서 개선이 나타난다.
• Few-shot/zero-shot 설정과 Chain of Thought가 지리공간 코딩 작업의 성능에 영향을 줄 수 있다.
• 도메인 튜닝 모델(GEECode-GPT)이 주관적 작업에서 개발되었고 평가되어, 타깃 미세 조정으로 인한 잠재적 이점을 시사한다.
• GeoCode-Bench 벤치마크는 여러 작업 유형에 걸쳐 지리공간 코드 능력을 측정하는 구조화된 프레임워크를 제공한다.