[논문 리뷰] Evaluating the Effectiveness of Large Language Models in Representing Textual Descriptions of Geometry and Spatial Relations

Yuhan Ji, Song Gao|arXiv (Cornell University)|2023. 07. 05.

Geographic Information Systems Studies인용 수 7

한 줄 요약

이 연구는 GPT-2 및 BERT와 같은 대규모 언어 모델(LM)이 웰-알려진 텍스트(WKT) 표현 방식으로부터 기하학적 및 공간적 관계를 어떻게 인코딩하는지 평가한다. LLM은 기하학적 유형 분류에서 100% 정확도를 달성하고, 기하학적 유형을 함께 고려할 경우 공간 술어 예측에서 최대 73%의 정확도를 기록하지만, 면적, 중심점, 거리 등의 수치적 추정 및 공간 추론 작업에서는 어려움을 겪으며, 토큰화 및 임베딩 평균화로 인해 정량적 공간 정보를 유지하는 데 한계가 있음을 시사한다.

ABSTRACT

This research focuses on assessing the ability of large language models (LLMs) in representing geometries and their spatial relations. We utilize LLMs including GPT-2 and BERT to encode the well-known text (WKT) format of geometries and then feed their embeddings into classifiers and regressors to evaluate the effectiveness of the LLMs-generated embeddings for geometric attributes. The experiments demonstrate that while the LLMs-generated embeddings can preserve geometry types and capture some spatial relations (up to 73% accuracy), challenges remain in estimating numeric values and retrieving spatially related objects. This research highlights the need for improvement in terms of capturing the nuances and complexities of the underlying geospatial data and integrating domain knowledge to support various GeoAI applications using foundation models.

연구 동기 및 목표

• 텍스트 기반 WKT 기술서로부터 기하학적 및 공간적 관계 정보를 LLM이 얼마나 효과적으로 표현하는지 평가하는 것.
• LLM이 생성한 임베딩이 기하학적 속성(예: 유형, 면적, 중심점, 공간 술어)을 유지할 수 있는지 조사하는 것.
• LLM이 수치적 공간 값을 포착하고 후속 공간 추론 작업을 지원할 수 있는 능력을 평가하는 것.
• 특히 정량적 공간 데이터 처리 및 도메인 특화 지리공간 지식 통합에 어려움을 겪는 현재 LLM의 한계를 규명하는 것.

제안 방법

• GIS 도구를 사용하여 WKT 형식 기하학적 표현으로부터 기하학적 및 공간 관계 속성(예: 유형, 면적, 중심점, 술어, 거리)을 추출한다.
• 사전 학습된 LLM(GPT-2 및 BERT)을 사용하여 WKT 문자열을 트랜스포머 기반 아키텍처를 통해 조밀한 벡터 임베딩으로 변환한다.
• 다중층 퍼셉트론(MLP)에 LLM 생성 임베딩을 입력하여 후속 작업을 수행한다. 활성화 함수로 ReLU를 사용하고, 정규화를 위해 드롭아웃을 적용한다.
• 임베딩을 기반으로 기하학적 유형 분류, 면적 및 중심점 예측, 공간 술어 인식, 거리 추정, 위치 검색 등의 작업에서 성능을 평가하기 위해 분류기 및 회귀기 모델을 훈련한다.
• 면적 및 거리 작업의 타겟 값에 로그 변환을 적용하고 중심점 작업에는 최소-최대 정규화를 적용하여 훈련을 안정화시키며, 최종 결과는 원본 척도에서 보고한다.
• 변환된 척도와 원본 척도 양쪽에서 평균 제곱오차(MSE) 손실을 사용하며, 최종 성능은 원본 타겟 값 기준으로 보고한다.

Figure 1 : The evaluation workflow of this research

실험 결과

연구 질문

• RQ1 LLM은 WKT 형식의 텍스트 기술서로부터 기하학적 유형을 효과적으로 인코딩할 수 있는가?
• RQ2 LLM이 생성한 임베딩은 면적 및 중심점과 같은 수치적 기하학적 속성을 어느 정도 정확하게 추정할 수 있는가?
• RQ3 LLM은 기하학적 요소 간의 공간 관계(예: 분리됨, 포함됨, 겹침 등)를 얼마나 잘 포착하고 예측할 수 있는가?
• RQ4 기하학적 유형을 입력으로 포함하면 공간 술어 예측 정확도가 향상되는가?
• RQ5 LLM 임베딩은 위치 예측이나 거리 추정과 같은 공간 추론 작업을 지원할 수 있는가?

주요 결과

• LLM은 검증 및 테스트 세트에서 기하학적 유형(Point, LineString, Polygon) 분류에서 100% 정확도를 기록하여 범주형 기하학적 정보의 강력한 인코딩을 보였다.
• 면적 계산에서는 모든 기하학적 요소에서 평균 절대 퍼센트 오차(MAPE)가 10,850%였고, 다각형에 대해서만 41.9%였으며, 이는 수치적 추정의 심각한 부정확성을 보여준다.
• LLM 임베딩을 사용한 중심점 유도 결과 루트 평균 제곱 오차(RMSE)는 0.029였지만, 예측된 중심점의 대부분이 연구 영역 외부에 위치하여 공간적 오지정이 발생했다.
• 기하학적 유형을 입력으로 포함한 경우 공간 술어 예측 정확도는 72.3%였고, 그렇지 않은 경우는 68.7%였으며, 이는 기하학적 맥락 지식이 성능 향상에 기여함을 시사한다.
• 분리된 기하학적 요소에 대한 거리 추정에서는 BERT를 사용했을 때 RMSE가 0.075였으며, 이는 작업 제한에도 불구하고 낮은 수치 정밀도를 보임을 의미한다.
• 위치 예측은 정밀도@5가 단지 3%에 머물러 있어, 평균 풀링만으로는 LLM 임베딩이 공간적으로 관련된 객체를 효과적으로 검색하는 데에는 부적합함을 보여준다.