[논문 리뷰] The Two Word Test: A Semantic Benchmark for Large Language Models

Nicholas Riccardi, Rutvik H. Desai|arXiv (Cornell University)|2023. 06. 07.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 150명의 인간 평가자가 평가한 1,768개의 명사-명사 어구의 의미 있는지 여부를 평가하는 의미론적 벤치마크인 두 단어 테스트(TWT)를 소개한다. 다른 과제에서는 뛰어난 성능을 보이지만, GPT-4, GPT-3.5, Bard 모두 인간 수준에 못 미치며, 이는 이들의 인간 수준의 이해나 AGI 수준의 이해를 주장하는 데 도전하는 바이다.

ABSTRACT

Large Language Models (LLMs) have shown remarkable abilities recently, including passing advanced professional exams and demanding benchmark tests. This performance has led many to suggest that they are close to achieving humanlike or 'true' understanding of language, and even Artificial General Intelligence (AGI). Here, we provide a new open-source benchmark that can assess semantic abilities of LLMs using two-word phrases using a task that can be performed relatively easily by humans without advanced training. Combining multiple words into a single concept is a fundamental aspect of human language and intelligence. The test requires meaningfulness judgments of 1768 noun-noun combinations that have been rated as meaningful (e.g., baby boy) or not meaningful (e.g., goat sky). by 150 human raters. We provide versions of the task that probe meaningfulness ratings on a 0-4 scale as well as binary judgments. We conducted a series of experiments using the TWT on GPT-4, GPT-3.5, and Bard, with both versions. Results demonstrated that, compared to humans, all models perform poorly at rating meaningfulness of these phrases. GPT-3.5 and Bard are also unable to make binary discriminations between sensible and nonsense phrases as making sense. GPT-4 makes a substantial improvement in binary discrimination of combinatorial phrases but is still significantly worse than human performance. The TWT can be used to understand the limitations and weaknesses of current LLMs, and potentially improve them. The test also reminds us that caution is warranted in attributing 'true understanding' or AGI to LLMs. TWT is available at: https://github.com/NickRiccardi/two-word-test

연구 동기 및 목표

• 최소한의 언어 입력을 사용하여 의미론적 이해 능력을 평가할 수 있는 단순하면서도 견고한 벤치마크를 개발하는 것.
• 기본적인 의미 조합 능력을 테스트하여 LLM의 인간 수준 또는 AGI 수준의 이해를 주장하는 것에 도전하는 것.
• 의미 있는지 여부를 0–4 척도로 평가한 1,768개의 명사-명사 조합으로 구성된 오픈소스이자 인간이 애너테이션한 데이터셋을 제공하는 것.
• GPT-4, GPT-3.5, Bard와 같은 주요 LLM이 이 의미론적 과제에서 어떻게 성과를 냈는지 평가하고 인간 기준과 비교하는 것.
• 간단한 언어 구조에서도 의미 조합 능력의 지속적인 한계를 드러내어 LLM이 의미 조합 능력을 얼마나 잘 이해하고 있는지 밝혀내는 것.

제안 방법

• TWT는 의미 있는 조합(예: '아기 소')과 비의미적인 조합(예: '염소 하늘')을 포함한 총 1,768개의 명사-명사 어구를 구성한다.
• 150명의 인간 평가자가 각 어구를 의미 있는지 여부에 대해 0–4 척도로 독립적으로 평가하여 황금 표준의 인간 애너테이션 데이터셋을 확보한다.
• 벤치마크는 두 가지 과제 유형을 포함한다: 5점 척도의 의미 있는 정도 평가(0–4)와 이진 분류(sensible 대 nonsense)이다.
• 저자는 GPT-4, GPT-3.5, Bard를 0-shot 프롬프팅을 사용하여 두 유형의 과제에 대해 평가하고 인간 평가와의 일치도를 측정한다.
• 성능는 상관관계 지표(Spearman의 rho 등)와 이진 분류의 정확도를 사용하여 모델 출력을 인간 애너테이션과 비교하여 정량화한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 인간처럼 간단한 두 단어로 이루어진 명사-명사 어구의 의미 있는지 여부를 정확하게 판단할 수 있는가?
• RQ2 GPT-4, GPT-3.5, Bard는 의미 있는 어구와 비의미적인 어구 사이의 이진 분류 과제에서 인간 성능에 비해 어떻게 비교되는가?
• RQ3 LLM은 일반적인 언어 구조에서 진정으로 의미 조합 능력을 보여주는가?
• RQ4 복잡한 벤치마크에서의 성능 향상은 깊이 있는 의미 이해를 의미하는가, 아니면 여전히 통계적 패턴에 의존하고 있는가?
• RQ5 두 단어 테스트는 현재 LLM의 의미 일반화 및 일반 지식 능력에 대한 한계를 어떤 통찰을 제공하는가?

주요 결과

• GPT-4, GPT-3.5, Bard를 포함한 모든 테스트된 LLM은 0–4 의미 척도 평가 과제에서 인간보다 유의미하게 열등했으며, GPT-4는 가장 높은 상관관계를 보였지만 여전히 인간 수준에 못 미쳤다.
• GPT-3.5와 Bard는 이진 분류 과제에서 의미 있는 어구와 비의미적인 어구를 신뢰성 있게 구분하지 못해 낮은 의미 차별 능력을 보였다.
• GPT-4는 이진 분류 과제에서 뚜렷한 향상을 보였지만, 정확도는 여전히 인간 성능에 크게 뒤져 의미론적 한계가 지속됨을 시사한다.
• 벤치마크는 최신 기술의 모델들조차도 기본적인 의미 조합 능력에서 어려움을 겪고 있음을 드러내어 인간 수준의 이해나 AGI 수준의 이해를 주장하는 데 도전한다.
• 결과는 현재 LLM에 대해 '진정한 이해'나 AGI 능력이 있다고 부여하는 데 신중함이 필요하며, 다른 벤치마크에서의 뛰어난 성능에도 불구하고 여전히 의미론적 이해의 한계가 존재함을 강조한다.