[논문 리뷰] How many words does ChatGPT know? The answer is ChatWords

Gonzalo Martínez, Javier Conde외 4명|arXiv (Cornell University)|2023. 09. 28.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 ChatGPT와 같은 대규모 언어모델의 어휘 지식을 자동으로 평가하기 위한 개방형이고 확장 가능한 도구인 ChatWords를 소개한다. 스페인어 왕립어휘대전 사전 및 세르반테스의 『돈 키호테』에서 추출한 어휘 목록을 바탕으로 테스트한 결과, ChatGPT는 표준 스페인어 어휘의 약 80퍼센트, 『돈 키호테』 전용 어휘의 약 90퍼센트를 인식하지만, 빈번히 잘못된 의미를 제공함으로써 어휘 정확도의 한계와 환각 위험을 드러낸다.

ABSTRACT

The introduction of ChatGPT has put Artificial Intelligence (AI) Natural Language Processing (NLP) in the spotlight. ChatGPT adoption has been exponential with millions of users experimenting with it in a myriad of tasks and application domains with impressive results. However, ChatGPT has limitations and suffers hallucinations, for example producing answers that look plausible but they are completely wrong. Evaluating the performance of ChatGPT and similar AI tools is a complex issue that is being explored from different perspectives. In this work, we contribute to those efforts with ChatWords, an automated test system, to evaluate ChatGPT knowledge of an arbitrary set of words. ChatWords is designed to be extensible, easy to use, and adaptable to evaluate also other NLP AI tools. ChatWords is publicly available and its main goal is to facilitate research on the lexical knowledge of AI tools. The benefits of ChatWords are illustrated with two case studies: evaluating the knowledge that ChatGPT has of the Spanish lexicon (taken from the official dictionary of the "Real Academia Española") and of the words that appear in the Quixote, the well-known novel written by Miguel de Cervantes. The results show that ChatGPT is only able to recognize approximately 80% of the words in the dictionary and 90% of the words in the Quixote, in some cases with an incorrect meaning. The implications of the lexical knowledge of NLP AI tools and potential applications of ChatWords are also discussed providing directions for further work on the study of the lexical knowledge of AI tools.

연구 동기 및 목표

• ChatGPT와 같은 대규모 언어모델의 어휘 지식을 평가하기 위한 확장 가능하고 자동화된 시스템을 개발하는 것.
• 생성형 AI에서 어휘 수준의 지식을 평가하기 위한 체계적인 평가 도구 부족 문제를 해결하는 것.
• 연구자들이 도메인 특화, 희귀어, 잘못된 어휘 등 다양한 어휘집을 통해 어휘 이해도를 테스트할 수 있도록 하는 것.
• 여러 AI 모델과 사용자 정의 어휘 목록을 지원하는 유연하고 개방형 프레임워크를 제공하는 것.
• LLM의 어휘 정확도 한계, 특히 어휘 의미와 환각 현상에 대한 통찰을 제공하는 것.

제안 방법

• 어느 목록의 어휘라도 입력으로 받아 테스트할 수 있는 모듈식이고 확장 가능한 프레임워크를 설계하는 것.
• 각 어휘어에 대해 정의나 의미를 요청하는 프롬프트를 자동 생성하여 ChatGPT에 질의하는 것.
• 가벼운 자연어 구문 분석기로 응답을 파싱하고 검증하여 정확한, 잘못된, 또는 환각된 정의를 식별하는 것.
• 다양한 구성 설정 지원: 다른 LLM 버전, 시스템 프롬프트, 응답 분석 전략.
• 기존 도구인 Wuggy와 통합하여 가짜 어휘어를 생성하고, 모델이 존재하지 않는 어휘어에 얼마나 민감한지 테스트하는 것.
• 외부 데이터셋과의 통합을 가능하게 하고, 다국어 및 도메인 특화 어휘집을 지원하는 것.

Figure 1: Example of ChatGPT answering with an incorrect meaning for a word. "Lavacaras" means "flatterer" and ChatGPT answers with a meaning that seems taken from "Lava" (wash) and "Cara" (face).

실험 결과

연구 질문

• RQ1 ChatGPT는 표준 스페인어 어휘사전의 어휘어를 얼마나 정확하게 인식하고 정의하는가?
• RQ2 희귀어, 옛어, 또는 도메인 특화 어휘어와 같은 다양한 어휘 유형에 대해 ChatGPT의 어휘 지식은 얼마나 다양하게 나타나는가?
• RQ3 ChatGPT는 존재하지 않는 어휘어나 실제 어휘어와 유사한 가짜 어휘어를 잘못 받아들이거나 오해하는 데에 얼마나 취약한가?
• RQ4 어휘 지식은 번역이나 요약과 같은 후행 NLP 작업 성능과 어떻게 관련이 있는가?
• RQ5 학습 데이터의 품질이 모델가 실제 어휘어와 잘못된 어휘어를 구분하는 능력에 어떤 영향을 미치는가?

주요 결과

• ChatGPT는 Real Academia Española (RAE) 어휘사전의 어휘어 약 80퍼센트를 정확히 인식하여 어휘 지식 실패율이 약 20퍼센트임을 시사한다.
• 스페인어 소설 『Don Quijote』의 경우, ChatGPT는 고유 어휘어의 약 90퍼센트를 인식하여 일반 어휘집보다 문학 어휘집에서 더 높은 성능을 보임을 시사한다.
• 몇몇 사례에서 ChatGPT는 설득력 있는 듯한 잘못된 정의를 제공함으로써 어휘 지식에서 심각한 환각 현상을 보였다.
• 모델는 때로는 존재하지 않는 어휘어인 'seglo'를 실제 어휘어인 'siglo'와 혼동하는 경우가 있었으며, 이는 의미 정확도보다 형태학적 유사성에 기반해 학습할 수 있음을 시사한다.
• 희귀어나 알 수 없는 어휘어가 포함된 번역 작업에서 ChatGPT의 성능이 저하되었으며, 예를 들어 'majaderito'를 'majadero'로 잘못 번역하는 등 잘못된 번역을 보였다.
• Wuggy 도구를 사용해 가짜 어휘어를 생성했고, ChatGPT는 빈번히 잘못된 의미를 부여함으로써 유사한 발음의 가짜 어휘어에 취약함을 보였다.

Figure 2: Block diagram of ChatWords