[논문 리뷰] Evaluation of Code LLMs on Geospatial Code Generation

Piotr Gramacki, Bruno Martins외 1명|arXiv (Cornell University)|2024. 10. 06.

Semantic Web and Ontologies인용 수 4

한 줄 요약

이 논문은 지리공간 데이터 과학 분야에서 코드 생성 대규모 언어 모델(Large Language Models, LLMs)을 평가하기 위한 새로운 수작업으로 구성된 벤치마크를 소개한다. 이 벤치마크는 작업의 복잡도, 공간적 추론 능력, 도구 사용 여부에 따라 작업을 분류한다. 저자는 이 데이터셋에서 여러 7B/8B LLMs를 평가하여 전문적인 지리공간 라이브러리(예: OSMNX, MovingPandas) 사용에서 두드러진 성능 격차를 확인했으며, 이는 도메인 특화 미세조정의 필요성을 강조한다.

ABSTRACT

Software development support tools have been studied for a long time, with recent approaches using Large Language Models (LLMs) for code generation. These models can generate Python code for data science and machine learning applications. LLMs are helpful for software engineers because they increase productivity in daily work. An LLM can also serve as a "mentor" for inexperienced software developers, and be a viable learning support. High-quality code generation with LLMs can also be beneficial in geospatial data science. However, this domain poses different challenges, and code generation LLMs are typically not evaluated on geospatial tasks. Here, we show how we constructed an evaluation benchmark for code generation models, based on a selection of geospatial tasks. We categorised geospatial tasks based on their complexity and required tools. Then, we created a dataset with tasks that test model capabilities in spatial reasoning, spatial data processing, and geospatial tools usage. The dataset consists of specific coding problems that were manually created for high quality. For every problem, we proposed a set of test scenarios that make it possible to automatically check the generated code for correctness. In addition, we tested a selection of existing code generation LLMs for code generation in the geospatial domain. We share our dataset and reproducible evaluation code on a public GitHub repository, arguing that this can serve as an evaluation benchmark for new LLMs in the future. Our dataset will hopefully contribute to the development new models capable of solving geospatial coding tasks with high accuracy. These models will enable the creation of coding assistants tailored for geospatial applications.

연구 동기 및 목표

• 지리공간 데이터 과학 분야에서 공간적 추론과 도구 전용 라이브러리 사용이 특징인 도메인의 표준화된 평가 기준 부족 문제를 해결하기 위해.
• 정확한 자연어 기술 설명과 자동화된 검증 테스트 시나리오를 포함한 고품질 수작업 데이터셋을 구축하여 정확도 검증을 가능하게 하기 위해.
• 공간적 추론, 데이터 처리 복잡도, 라이브러리 사용 등의 차원에서 기존 코드 생성 LLMs의 능력과 한계를 평가하기 위해.
• 현재 LLMs가 가장 어려움을 겪는 지리공간 작업 유형을 규명하여 향후 모델 개발을 안내하기 위해.
• 재현 가능하고 확장 가능한 벤치마크를 제공하여 지리공간 인식 기반 AI 코딩 어시스턴트 개발을 지원하기 위해.

제안 방법

• 저자는 작업의 복잡도(단일 단계 대 다중 단계), 필요로 하는 공간적 추론 능력, 특정 지리공간 도구(예: shapely, H3, OSMNX, MovingPandas) 사용 여부에 따라 지리공간 작업을 분류하였다.
• 정확한 자연어 기술 설명과 해당 테스트 시나리오를 포함한 수작업으로 구성된 코딩 문제 데이터셋을 제작하여 자동 정확도 검증을 가능하게 하였다.
• 모델의 데이터 형식 민감도 평가를 위해 구조화된 입력(예: 위도/경도 쌍 또는 Shapely Point 객체)을 포함하였다.
• CodeLlama, Llama-3, Gemma, Mistral 등을 포함한 일부 7B 및 8B 파라미터 코드 LLMs를 대상으로 비교 평가를 수행하였다.
• 모델 출력 결과는 사전 정의된 테스트 케이스와 비교하여 다양한 작업 유형에서 pass@1 정확도를 측정하였다.
• 데이터셋과 평가 코드는 GitHub에 공개되어 있어 커뮤니티의 활용과 확장이 가능하도록 하였다.

Figure 1. Example of a prompt from the dataset, with an example solution generated (the highlighted part).

실험 결과

연구 질문

• RQ1 RQ1: 코드 생성 LLMs는 다양한 유형의 지리공간 작업을 해결할 수 있는가?
• RQ2 RQ2: 코드 생성 LLMs는 지리공간 작업을 해결할 때 공간적 추론 능력과 세계 지식을 활용할 수 있는가?
• RQ3 RQ3: 지리공간 작업을 넓은 범주로 분류할 때, 현재 LLMs가 더 어려움을 겪는 문제의 유형은 무엇인가?
• RQ4 RQ4: 입력 형식(예: 위도/경도 대비 Shapely 기하 객체)에 따라 모델 성능은 어떻게 달라지는가?
• RQ5 RQ5: LLMs는 OSMNX 및 MovingPandas와 같은 전문적인 지리공간 라이브러리를 얼마나 효과적으로 활용할 수 있는가?

주요 결과

• Shapely 기하 객체를 제공받은 경우(예: bigcode_starcoder2-7b의 경우 66.67% pass@1)가 위도/경도 좌표를 제공받은 경우(33.33%)보다 성능이 유의미하게 높았다.
• 가장 높은 성능을 보인 모델인 meta-llama_CodeLlama-7b-Python-hf는 위도/경도 작업에서 23.81% pass@1, Shapely 작업에서 26.67% pass@1를 기록하였다.
• OSMNX 및 MovingPandas 라이브러리의 경우 모델이 정확한 코드를 생성하지 못했으며, 대부분의 경우 빈번한 함수를 반환하는 것으로 나타났다.
• shapely 및 H3 라이브러리만 신뢰성 있게 사용되었으며, 모델에 따라 pass@1 점수는 4.76%에서 33.33%까지 변동하였다.
• MovingPandas 및 OSMNX 작업에 대한 모델 출력 결과 중 상당수는 완전하지 않거나 문법적으로 잘못된 것으로 나타나 도구 지식 부족을 시사하였다.
• 결과적으로 현재 코드 LLMs는 지리공간 라이브러리에 충분한 노출을 받지 못했으며, 지리공간 개발 분야에서 효과적인 어시스턴트가 되기 위해 도메인 특화 미세조정이 필요하다.