[論文レビュー] The dynamics of meaning through time: Assessment of Large Language Models

Mohamed Taher Alrefaie, Fatty Salem+3 more|arXiv (Cornell University)|Jan 9, 2025

Topic Modeling被引用数 3

ひとこと要約

この論文は、個別のプロンプトと客観的および専門家による評価の双方を用いて、様々な大規模言語モデルが意味の時間的ダイナミクスと意味論的進化をどれだけ捉えるかを評価します。

ABSTRACT

Understanding how large language models (LLMs) grasp the historical context of concepts and their semantic evolution is essential in advancing artificial intelligence and linguistic studies. This study aims to evaluate the capabilities of various LLMs in capturing temporal dynamics of meaning, specifically how they interpret terms across different time periods. We analyze a diverse set of terms from multiple domains, using tailored prompts and measuring responses through both objective metrics (e.g., perplexity and word count) and subjective human expert evaluations. Our comparative analysis includes prominent models like ChatGPT, GPT-4, Claude, Bard, Gemini, and Llama. Findings reveal marked differences in each model's handling of historical context and semantic shifts, highlighting both strengths and limitations in temporal semantic understanding. These insights offer a foundation for refining LLMs to better address the evolving nature of language, with implications for historical text analysis, AI design, and applications in digital humanities.

研究の動機と目的

• 大規模言語モデルが历史的文脈と用語の時間的意味変化を理解する程度を評価する。
• 意味の時間的ダイナミクスを捉える能力について、複数の著名なLLMを比較する。
• 歴史文献分析とデジタルヒューマニティーズ応用のためのLLMの改良の指針を提供する。

提案手法

• 多様な用語と領域を横断して時間的意味を探るような特別なプロンプトを用いる。
• perplexityや語数といった客観的指標でモデルの応答を評価する。
• 時間的意味理解を評価するために人間の専門家による主観的評価を取り入れる。
• ChatGPT、GPT-4、Claude、Bard、Gemini、Llama など、いくつかの著名なLLMを横断して比較分析を行う。

実験結果

リサーチクエスチョン

• RQ1 LLMsは用語の歴史的文脈と時間とともに変化する意味をどの程度捉えられるか？
• RQ2 領域横断で、時間的意味論の扱いには各LLMでどのような差があるか？
• RQ3 現在のLLMが時間的意味理解において持つ強みと制約は何か？
• RQ4 これらの能力が歴史的テキスト分析とデジタルヒューマニティーズに与える影響は何か？

主な発見

• モデル間で歴史的文脈と意味の変化の解釈に顕著な差がある。
• 時間的意味理解はモデルによって強さと限界が異なる。
• 評価は、LLMがうまく機能する分野と、意味が時間とともに進化する際に苦戦する分野を特定する。