[論文レビュー] The Two Word Test: A Semantic Benchmark for Large Language Models

Nicholas Riccardi, Rutvik H. Desai|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文は、150名の人が評価した1,768の名詞＋名詞の語句の意味的妥当性を評価する、意味的ベンチマーク「Two Word Test (TWT)」を紹介する。他のタスクでは優れたパフォーマンスを示すが、GPT-4、GPT-3.5、Bardはいずれも人間より性能が低く、GPT-4ですら二値の識別において顕著な改善を示したものの、依然として不十分な結果にとどまり、大規模言語モデル（LLM）における人間並みの理解能力やAGIの実現を主張する根拠を揺るがすものである。

ABSTRACT

Large Language Models (LLMs) have shown remarkable abilities recently, including passing advanced professional exams and demanding benchmark tests. This performance has led many to suggest that they are close to achieving humanlike or 'true' understanding of language, and even Artificial General Intelligence (AGI). Here, we provide a new open-source benchmark that can assess semantic abilities of LLMs using two-word phrases using a task that can be performed relatively easily by humans without advanced training. Combining multiple words into a single concept is a fundamental aspect of human language and intelligence. The test requires meaningfulness judgments of 1768 noun-noun combinations that have been rated as meaningful (e.g., baby boy) or not meaningful (e.g., goat sky). by 150 human raters. We provide versions of the task that probe meaningfulness ratings on a 0-4 scale as well as binary judgments. We conducted a series of experiments using the TWT on GPT-4, GPT-3.5, and Bard, with both versions. Results demonstrated that, compared to humans, all models perform poorly at rating meaningfulness of these phrases. GPT-3.5 and Bard are also unable to make binary discriminations between sensible and nonsense phrases as making sense. GPT-4 makes a substantial improvement in binary discrimination of combinatorial phrases but is still significantly worse than human performance. The TWT can be used to understand the limitations and weaknesses of current LLMs, and potentially improve them. The test also reminds us that caution is warranted in attributing 'true understanding' or AGI to LLMs. TWT is available at: https://github.com/NickRiccardi/two-word-test

研究の動機と目的

• 最小限の言語的入力で、意味的理解の評価が可能なシンプルで堅牢なベンチマークの開発。
• 基本的な意味的合成性をテストすることで、LLMにおける人間並みまたはAGI並みの理解能力を主張する主張に疑問を呈すること。
• 意味的妥当性を0–4のスケールで評価した1,768の名詞＋名詞の組み合わせを含む、オープンソースで人間がアノテートしたデータセットの提供。
• GPT-4、GPT-3.5、Bardといった代表的なLLMがこの意味的タスクでどのように性能を発揮するかを評価し、人間の基準との比較を行うこと。
• 単純な言語構造においても、LLMの意味的合成性の理解に根強い限界が存在することを浮き彫りにすること。

提案手法

• TWTは、1,768の名詞＋名詞の語句を構築し、意味的妥当な組み合わせ（例：'baby boy'）と無意味な組み合わせ（例：'goat sky'）を含む。
• 150名の人が独立して各語句を0–4の意味的妥当性スケールで評価し、ゴールドスタンダードのアノテート済みデータセットを構築した。
• ベンチマークには2種類のタスク変種が含まれる：5段階の意味的妥当性評価（0–4）と二値分類（妥当／無意味）。
• 著者らは、ゼロショットプロンプティングを用いて、GPT-4、GPT-3.5、Bardを両タスク変種で評価し、人間の評価との一致度を測定した。
• パフォーマンスは、スピアマンのrhoなどの相関係数と、二値分類のための正答率を用いて測定され、モデル出力と人間のアノテーションを比較した。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、人間が行うのと同様に、単純な二語の名詞＋名詞の語句の意味的妥当性を正確に判断できるか？
• RQ2 GPT-4、GPT-3.5、Bardは、妥当な語句と無意味な語句の二値識別において、人間のパフォーマンスと比べてどの程度の差があるか？
• RQ3 LLMは、一般的な言語構造の処理において、真の意味的合成性をどの程度示しているか？
• RQ4 複雑なベンチマークでパフォーマンスが向上したとしても、それはより深い意味的理解を意味するのか、それとも依然として統計的パターンに依存しているのか？
• RQ5 Two Word Testは、現在のLLMの意味的一般化能力や常識的推論の限界について、どのような洞察を提供するか？

主な発見

• GPT-4、GPT-3.5、Bardの全モデルが、0–4の意味的妥当性評価タスクにおいて人間より有意に低いパフォーマンスを示した。GPT-4は最高の相関を示したが、依然として人間レベルに達していなかった。
• GPT-3.5とBardは、二値分類タスクにおいて、妥当な語句と無意味な語句を信頼性を持って区別できず、意味的識別能力が低いことが示された。
• GPT-4は二値識別において顕著な改善を示したが、その正答率は依然として人間のパフォーマンスに大きく劣っており、意味的限界が継続していることが示唆された。
• ベンチマークは、最新の最先端モデルですら、根本的な意味的合成性の理解に困難を抱えていることを明らかにした。これは、人間並みの理解能力やAGIの実現を主張する根拠を揺るがすものである。
• これらの結果は、他のベンチマークで優れたパフォーマンスを示す一方で、現在のLLMに「真の理解」やAGI能力を帰属づける際には注意を要することを強調している。