[논문 리뷰] The dynamics of meaning through time: Assessment of Large Language Models

Mohamed Taher Alrefaie, Fatty Salem외 3명|arXiv (Cornell University)|2025. 01. 09.

Topic Modeling인용 수 3

한 줄 요약

이 논문은 다양한 대형 언어 모델이 맞춤 프롬프트와 객관적 평가 및 전문가 평가를 통해 시간에 따른 의미의 시간적 역학 및 의미의 진화를 얼마나 잘 포착하는지 평가한다.

ABSTRACT

Understanding how large language models (LLMs) grasp the historical context of concepts and their semantic evolution is essential in advancing artificial intelligence and linguistic studies. This study aims to evaluate the capabilities of various LLMs in capturing temporal dynamics of meaning, specifically how they interpret terms across different time periods. We analyze a diverse set of terms from multiple domains, using tailored prompts and measuring responses through both objective metrics (e.g., perplexity and word count) and subjective human expert evaluations. Our comparative analysis includes prominent models like ChatGPT, GPT-4, Claude, Bard, Gemini, and Llama. Findings reveal marked differences in each model's handling of historical context and semantic shifts, highlighting both strengths and limitations in temporal semantic understanding. These insights offer a foundation for refining LLMs to better address the evolving nature of language, with implications for historical text analysis, AI design, and applications in digital humanities.

연구 동기 및 목표

• 대형 언어 모델이 역사적 맥락과 용어의 시간에 따른 의미 변화 이해를 평가합니다.
• 의미의 시간적 역학을 포착하는 능력에 대해 여러 저명한 LLM을 비교합니다.
• 역사 텍스트 분석 및 디지털 인문학 적용을 위한 LLM 개선 방향에 대한 통찰을 제공합니다.

제안 방법

• 다양한 용어와 영역에 걸친 시간적 의미를 탐구하기 위해 맞춤형 프롬프트를 사용합니다.
• Perplexity 및 단어 수와 같은 객관적 지표로 모델 응답을 평가합니다.
• 시간적 의미 이해를 평가하기 위해 인간 전문가의 주관적 평가를 도입합니다.
• 여러 저명한 LLM(ChatGPT, GPT-4, Claude, Bard, Gemini, Llama)에 걸친 비교 분석을 수행합니다.

실험 결과

연구 질문

• RQ1 LLMs가 시간에 따라 용어의 역사적 맥락과 의미 변화를 얼마나 포착할 수 있는가?
• RQ2 도메인 간 시간적 의미를 다루는 방식에서 서로 다른 LLM은 어떻게 차이가 있는가?
• RQ3 현재 LLM의 시간적 의미 이해의 강점과 한계는 무엇인가?
• RQ4 이러한 능력이 역사적 텍스트 분석 및 디지털 인문학에 어떤 시사점을 가지는가?

주요 결과

• 모델 간에 역사적 맥락과 의미 변화 해석에 차이가 크다.
• 시간적 의미 이해는 모델에 따라 강점과 한계가 다르게 나타난다.
• 평가는 LLM이 잘 수행하는 영역과 시간에 따라 의미가 진화하는 영역에서 어려움을 겪는 영역을 구체적으로 지적한다.