[논문 리뷰] Large Language Models: Testing Their Capabilities to Understand and Explain Spatial Concepts (Short Paper)

Chaoyou Fu, Peixian Chen|arXiv (Cornell University)|2023. 06. 23.

Topic Modeling인용 수 88

한 줄 요약

이 논문은 14개의 인지 및 인지 기반 과제를 통해 다중모态 대규모 언어 모델(MLLM)을 평가하기 위한 첫 번째 종합적 벤치마크인 MME를 소개한다. 공정한 비교와 데이터 泄露 방지를 위해 수작업으로 구성된 간결한 지시문을 설계하여, GPT-4V 및 Lion과 같은 최고 수준의 모델들 역시 객체 위치 이해 및 엄격한 지시 준수 하에서의 추론 능력 향상 여지가 여전히 크다는 점을 드러낸다.

ABSTRACT

Interest in applying Large Language Models (LLMs), which use natural language processing (NLP) to provide human-like responses to text-based questions, to geospatial tasks has grown rapidly. Research shows that LLMs can help generate software code and answer some types of geographic questions to varying degrees even without fine-tuning. However, further research is required to explore the types of spatial questions they answer correctly, their abilities to apply spatial reasoning, and the variability between models. In this paper we examine the ability of four LLM models (GPT3.5 and 4, LLAma2.0, Falcon40B) to answer spatial questions that range from basic calculations to more advanced geographic concepts. The intent of this comparison is twofold. First, we demonstrate an extensible method for evaluating LLM’s limitations to supporting spatial data science through correct calculations and code generation. Relatedly, we also consider how these models can aid geospatial learning by providing text-based explanations of spatial concepts and operations. Our research shows common strengths in more basic types of questions, and mixed results for questions relating to more advanced spatial concepts. These results provide insights that may be used to inform strategies for testing and fine-tuning these models to increase their understanding of key spatial concepts.

연구 동기 및 목표

• 다중모달 대규모 언어 모델(MLLM) 평가를 위한 종합적이고 공정하며 정량적으로 분석 가능한 벤치마크의 부재 문제를 해결하기 위해.
• 기존 평가 방법의 한계를 극복하기 위해, 공개 데이터셋에서의 데이터 泄露, 일관되지 않은 지시 설계, 개방형 또는 주관적인 평가 방식에 대한 의존을 줄이기 위해.
• MLLM의 인지 및 인지 능력을 통합적이고 표준화되며 재현 가능한 방식으로 평가하기 위해.
• 지시 준수 불능, 인지 오류, 추론 실패, 객체 환각과 같은 지속적인 모델의 약점을 특정하기 위해.

제안 방법

• 인간 지능의 인지 능력(예: 존재 여부, 수량, 위치, 색상)과 인지 능력(예: 일반 지식 추론, 수치 계산, 코드 추론)을 포함하는 14개의 하위 과제를 포함한 새로운 벤치마크인 MME를 설계하기 위해.
• 훈련 데이터에서의 데이터 泄露를 방지하기 위해 모든 지시-답안 쌍을 수작업으로 생성하여 평가의 무결성을 확보하기 위해.
• 모델 간 공정한 비교를 가능하게 하고 프롬프트 엔지니어링 편향을 줄이기 위해 표준화된 간결한 지시 형식('예 또는 아니요로 대답해 주세요')을 사용하기 위해.
• 모든 질문에 대해 이진 분류 형식(예/아니요)을 사용하여 모델 성능에 대한 직접적이고 정량적인 통계 분석을 가능하게 하기 위해.
• 전체 벤치마크에서 30개의 고급 MLLM을 평가하여 능력 수준을 분석하고 실패 패tern을 특정하기 위해.
• 모델 행동을 질적 사례 연구를 통해 분석하여 환각, 일치 불량, 추론 실패와 같은 반복적인 문제를 특정하기 위해.

실험 결과

연구 질문

• RQ1 표준화되고 공정한 평가 환경에서 현재의 MLLM들은 광범위한 인지 및 인지 과제에서 얼마나 잘 수행하는가?
• RQ2 MLLM은 간결하고 단순한 지시문을 얼마나 잘 따르는가? 그리고 이는 성능에 어떤 영향을 미치는가?
• RQ3 통제된 수작업 애너테이션 하에서 인지 및 추론 평가 시 MLLM에서 가장 흔한 실패 유형은 무엇인가?
• RQ4 지속적인 시각적 이해가 요구되는 과제, 예를 들어 랜드마크나 예술 작품 인식에서 서로 다른 MLLM은 어떻게 비교되는가?
• RQ5 통합적이고 수작업으로 구성된 벤치마크는 일관되고 정량적인 성능 격차를 드러내어 향후 모델 최적화를 이끌 수 있는가?

주요 결과

• GPT-4V는 인지 능력에서 가장 높은 총점(2000점 중 1621.66점)을 기록했으며, 인지 능력에서는 1위를 차지했지만, 개인에 대한 질문에는 응답을 거부하여 유명인 인식 과제에서 0점 기록을 하였다.
• WeMM, InfMLLM, SPHINX는 인지 능력에서 상위 3개를 차지했으며, GPT-4V, Lion, WeMM는 인지 능력에서 선두를 달리고 있다. 특히 GPT-4V는 코드 추론(200점 중 170점)과 일반 지식 추론(200점 중 142.14점)에서 뛰어난 성능을 보였다.
• 객체 위치 인식은 가장 약한 하위 과제로, 모델들이 공간적 배치에 대한 민감도가 낮아 공간 이해 능력에 중대한 한계가 있음을 시사한다.
• 매우 많은 수의 모델들이 단순한 '예 또는 아니요' 지시에 따라가지 못해 자유형 응답을 생성하는 경우가 많아, 신뢰성과 평가의 공정성이 떨어진다.
• 객체 환각은 널리 퍼진 문제이다. 모델들은 존재하지 않는 객체에 대해 질문을 받을 경우 자주 '예'로 응답하여, 이 경우 약 50%의 정확도와 거의 0점의 정확도를 기록한다.
• 인지 성능는 지시어의 미세한 변화에 매우 민감하다. 단 한 글자의 변경만으로도 모순된 응답이 발생할 수 있어, 시각적 기반의 안정성에 문제가 있음을 드러낸다.