[论文解读] How many words does ChatGPT know? The answer is ChatWords

Gonzalo Martínez, Javier Conde+4 more|arXiv (Cornell University)|Sep 28, 2023

Topic Modeling被引用 4

一句话总结

本文介紹了 ChatWords，這是一種開源且可擴展的工具，用於自動評估大型語言模型（如 ChatGPT）的詞彙知識。透過測試一系列精心挑選的詞彙（例如西班牙皇家學院詞典中的詞彙以及塞萬提斯《唐吉訶德》中的詞彙），ChatWords 發現，ChatGPT 僅能識別約 80% 的標準西班牙語詞彙與約 90% 的《唐吉訶德》專屬詞彙，且常伴隨錯誤的詞義，突顯了詞彙準確性方面的限制與幻覺風險。

ABSTRACT

The introduction of ChatGPT has put Artificial Intelligence (AI) Natural Language Processing (NLP) in the spotlight. ChatGPT adoption has been exponential with millions of users experimenting with it in a myriad of tasks and application domains with impressive results. However, ChatGPT has limitations and suffers hallucinations, for example producing answers that look plausible but they are completely wrong. Evaluating the performance of ChatGPT and similar AI tools is a complex issue that is being explored from different perspectives. In this work, we contribute to those efforts with ChatWords, an automated test system, to evaluate ChatGPT knowledge of an arbitrary set of words. ChatWords is designed to be extensible, easy to use, and adaptable to evaluate also other NLP AI tools. ChatWords is publicly available and its main goal is to facilitate research on the lexical knowledge of AI tools. The benefits of ChatWords are illustrated with two case studies: evaluating the knowledge that ChatGPT has of the Spanish lexicon (taken from the official dictionary of the "Real Academia Española") and of the words that appear in the Quixote, the well-known novel written by Miguel de Cervantes. The results show that ChatGPT is only able to recognize approximately 80% of the words in the dictionary and 90% of the words in the Quixote, in some cases with an incorrect meaning. The implications of the lexical knowledge of NLP AI tools and potential applications of ChatWords are also discussed providing directions for further work on the study of the lexical knowledge of AI tools.

研究动机与目标

• 開發一個可擴展的自動化系統，用於評估類似 ChatGPT 的大型語言模型的詞彙知識。
• 解決生成式 AI 在詞級知識方面缺乏系統性評估工具的問題。
• 讓研究人員能夠測試多樣詞彙（包括領域專用、稀有或錯誤詞彙）下的詞彙理解能力。
• 提供一個靈活的開源框架，支援多種 AI 模型與自訂詞彙清單的評估。
• 揭露大型語言模型在詞彙準確性方面的限制，特別是在詞義辨識與幻覺風險方面。

提出的方法

• 設計模組化且可擴展的框架，接受任何詞彙清單作為測試輸入。
• 自動化提示生成，針對每個詞彙向 ChatGPT 發送查詢，要求提供定義或詞義。
• 使用輕量級自然語言解析器解析並驗證回應，以判斷定義是否正確、錯誤或為幻覺。
• 支援多種配置：不同 LLM 版本、系統提示與回應分析策略。
• 整合現有工具 Wuggy，以生成偽詞並測試模型對不存在詞語的敏感度。
• 支援與外部資料集整合，並提供多語言與領域專用詞彙的支援。

Figure 1: Example of ChatGPT answering with an incorrect meaning for a word. "Lavacaras" means "flatterer" and ChatGPT answers with a meaning that seems taken from "Lava" (wash) and "Cara" (face).

实验结果

研究问题

• RQ1 ChatGPT 對標準西班牙語詞典詞彙的識別與定義準確度如何？
• RQ2 ChatGPT 的詞彙知識在不同詞類（如稀有詞、古語或領域專用詞）之間的差異程度為何？
• RQ3 ChatGPT 是否容易被誘導接受或誤解外觀類似真實詞語的非存在詞彙或偽詞？
• RQ4 詞彙知識與下游自然語言處理任務（如翻譯或摘要）的表現之間是否存在關聯？
• RQ5 訓練資料品質對模型區分真實詞彙與錯誤詞彙的能力有何影響？

主要发现

• ChatGPT 正確識別了西班牙皇家學院（Real Academia Española, RAE）詞典中約 80% 的詞彙，顯示詞彙知識的失敗率約為 20%。
• 對於西班牙小說《唐吉訶德》的詞彙，ChatGPT 識別了約 90% 的獨特詞彙，顯示其在文學詞彙上的表現優於一般詞彙。
• 在多個案例中，ChatGPT 提供了聽起來合理但錯誤的定義，顯示其在詞彙知識方面存在顯著幻覺現象。
• 模型有時會將不存在的詞彙（如 'seglo'）與真實詞彙（如 'siglo'）混淆，顯示其可能依賴形態相似性而非語義正確性進行學習。
• 當遇到稀有或未知詞彙（如將 'majaderito' 錯誤翻譯為 'majadero' 而非正確的蕾絲類型詞彙）時，ChatGPT 在翻譯任務中的表現會下降。
• 使用工具 Wuggy 生成的偽詞顯示，ChatGPT 常常賦予其錯誤的詞義，顯示其對外觀類似真實詞語的非存在詞彙具有高度脆弱性。

Figure 2: Block diagram of ChatWords