[論文レビュー] How many words does ChatGPT know? The answer is ChatWords

Gonzalo Martínez, Javier Conde+4 more|arXiv (Cornell University)|Sep 28, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文では、ChatGPTのような大規模言語モデルの語彙的知識を自動的に評価するためのオープンソースで拡張可能なツールであるChatWordsを紹介する。スペイン語のレアル・アカデミア・エスパニョーラ（RAE）の辞書やセルヴァンテスの『ドン・キホーテ』に収録された語彙のリストを基にテストすることで、ChatGPTは標準スペイン語語彙の約80%、『ドン・キホーテ』固有の語彙の約90%を認識しているが、しばしば誤った意味を提示しており、語彙的正確性の限界と幻覚のリスクが浮き彫りになる。

ABSTRACT

The introduction of ChatGPT has put Artificial Intelligence (AI) Natural Language Processing (NLP) in the spotlight. ChatGPT adoption has been exponential with millions of users experimenting with it in a myriad of tasks and application domains with impressive results. However, ChatGPT has limitations and suffers hallucinations, for example producing answers that look plausible but they are completely wrong. Evaluating the performance of ChatGPT and similar AI tools is a complex issue that is being explored from different perspectives. In this work, we contribute to those efforts with ChatWords, an automated test system, to evaluate ChatGPT knowledge of an arbitrary set of words. ChatWords is designed to be extensible, easy to use, and adaptable to evaluate also other NLP AI tools. ChatWords is publicly available and its main goal is to facilitate research on the lexical knowledge of AI tools. The benefits of ChatWords are illustrated with two case studies: evaluating the knowledge that ChatGPT has of the Spanish lexicon (taken from the official dictionary of the "Real Academia Española") and of the words that appear in the Quixote, the well-known novel written by Miguel de Cervantes. The results show that ChatGPT is only able to recognize approximately 80% of the words in the dictionary and 90% of the words in the Quixote, in some cases with an incorrect meaning. The implications of the lexical knowledge of NLP AI tools and potential applications of ChatWords are also discussed providing directions for further work on the study of the lexical knowledge of AI tools.

研究の動機と目的

• ChatGPTのような大規模言語モデルの語彙的知識をスケーラブルかつ自動的に評価するためのシステムを開発すること。
• 生成的AIにおける語彙レベルの知識に対する体系的でない評価ツールの欠如に応えること。
• 研究者が、ドメイン固有語彙、希少語、誤りのある語彙を含む多様な語彙集に対して語彙的理解をテストできるようにすること。
• 複数のAIモデルとカスタム語彙リストの評価をサポートする、柔軟でオープンソースのフレームワークを提供すること。
• 大規模言語モデルの語彙的正確性の限界、特に語の意味や幻覚に関するリスクを明らかにすること。

提案手法

• 任意の語彙リストを入力として受け入れるモジュラで拡張可能なフレームワークを設計すること。
• 各語に対して定義や意味を尋ねるプロンプトを自動生成し、ChatGPTに問い合わせること。
• 簡易な自然言語解析器を用いて応答を解析・検証し、正しい、誤りのある、または幻覚的な定義を特定すること。
• 異なる設定をサポート：LLMのバージョン、システムプロンプト、応答解析戦略の変更。
• Wuggyのような既存ツールと統合し、擬似語を生成してモデルが存在しない語にどのように反応するかをテストすること。
• 外部データセットとの統合を可能とし、多言語およびドメイン固有語彙のサポートを実現すること。

Figure 1: Example of ChatGPT answering with an incorrect meaning for a word. "Lavacaras" means "flatterer" and ChatGPT answers with a meaning that seems taken from "Lava" (wash) and "Cara" (face).

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、標準スペイン語辞書の語をどの程度正確に認識し、定義できるか？
• RQ2 稀な語、古語、ドメイン固有語などの語の種類によって、ChatGPTの語彙的知識はどの程度変動するか？
• RQ3 ChatGPTは、実在しないが本物に似た形をした擬似語（例：'seglo'）を誤って受け入れたり、誤解したりする可能性があるか？
• RQ4 語彙的知識は、翻訳や要約などの下流NLPタスクのパフォーマンスとどの程度相関するか？
• RQ5 学習データの品質が、モデルが本物の語と誤った語を区別する能力に与える影響は何か？

主な発見

• ChatGPTは、レアル・アカデミア・エスパニョーラ（RAE）の辞書に収録された語の約80%を正しく認識しており、語彙的知識の分野で20%の失敗率があることが示された。
• 『ドン・キホーテ』の文脈では、独自語彙の約90%が認識されており、文学的語彙に対して一般語彙よりも高いパフォーマンスを示している。
• 複数の事例で、説得力のあるが誤った定義が提示されており、語彙的知識における顕著な幻覚が確認された。
• モデルは、'seglo'（実在しない語）を' siglo'（正しい語）と混同する場合があり、意味の正しさではなく形態的類似性に基づいて学習している可能性を示唆している。
• 翻訳タスクにおいて、'majaderito'（一種のレースの名前）のような希少語や未知語に遭遇すると、ChatGPTのパフォーマンスが著しく低下し、誤って'majadero'（無知な者）に翻訳する事例もあった。
• Wuggyを用いて擬似語を生成したところ、ChatGPTは頻繁に誤った意味を割り当てており、類似語に脆弱であることが判明した。

Figure 2: Block diagram of ChatWords