[論文レビュー] Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models

Marianna Nezhurina, Lucia Cipolina-Kun+2 more|arXiv (Cornell University)|Jun 4, 2024

Natural Language Processing Techniques被引用数 20

ひとこと要約

論文は、最先端の大規模言語モデル（LLMs）がしばしば単純な常識AIW問題で失敗し、多くのモデルが過信的に誤答を出し、作話的推論を生成することを示しており、堅牢な推論能力の主張に挑戦している。

ABSTRACT

Large Language Models (LLMs) are often described as being instances of foundation models - that is, models that transfer strongly across various tasks and conditions in few-show or zero-shot manner, while exhibiting scaling laws that predict function improvement when increasing the pre-training scale. These claims of excelling in different functions and tasks rely on measurements taken across various sets of standardized benchmarks showing high scores for such models. We demonstrate here a dramatic breakdown of function and reasoning capabilities of state-of-the-art models trained at the largest available scales which claim strong function, using a simple, short, conventional common sense problem (AIW problem) formulated in concise natural language, easily solvable by humans. The breakdown is dramatic, as models show strong fluctuations across even slight problem variations that should not affect problem solving, also expressing strong overconfidence in the wrong solutions, often backed up by plausible sounding explanation-like confabulations. Various standard interventions in an attempt to get the right solution, like various type of enhanced prompting, or urging the models to reconsider the wrong solutions again by multi step re-evaluation, fail. We take these initial observations to the scientific and technological community to stimulate urgent re-assessment of the claimed capabilities of current generation of LLMs. Such re-assessment also requires common action to create standardized benchmarks that would allow proper detection of such basic reasoning deficits that obviously manage to remain undiscovered by current state-of-the-art evaluation procedures and benchmarks. Code for reproducing experiments in the paper and raw experiments data can be found at https://github.com/LAION-AI/AIW

研究の動機と目的

• 単純な常識的問題が、ベンチマークの高得点にもかかわらず現在のSOTA LLMを崩壊させることを示す。
• AIW問題に対するモデルの性能に対するさまざまなプロンプトタイプの影響を評価する。
• クローズドウェイトとオープンウェイトの幅広いLLMs間で性能を比較し、主張される推論能力を評価する。

提案手法

• AIW問題を導入する: 「AliceにはN人の兄弟がいて、彼女にはM人の姉妹もいます。Aliceの兄は何人の姉妹を持っていますか？」と、4つのAIW変種。
• 最終回答形式とモデルの信頼度を解析可能に強制してモデルの応答を評価する。結果をベルヌーイ試行として扱い、p（正解応答確率）についてBeta-Binomial分布を推定する。
• STANDARD、THINKING、RESTRICTEDのプロンプトタイプを用いて、モデル間の応答品質と推論行動を研究する。
• APIホスト/ローカルホストのセットアップを通じて、小規模から大規模までの広範なSOTAモデル（オープンウェイトおよびクローズドウェイト）をテストする。各変種とプロンプトタイプにつき少なくとも30試行を収集する。

Figure 1: Alice is reasoning: will it break? Illustration of Humpty Dumpty from Through the Looking Glass, by John Tenniel, 1871. Source: Wikipedia.

実験結果

リサーチクエスチョン

• RQ1 現在のSOTA LLMは、簡潔な自然言語プロンプトでAIWの変種を信頼性高く解けるか？
• RQ2 プロンプトタイプ（STANDARD、THINKING、RESTRICTED）は、正答率と知覚される推論品質にどのように影響するか？
• RQ3 標準化されたベンチマーク（例：MMLU）と、AIWのような単純な推論タスクのパフォーマンスとの間に乖離があるか？
• RQ4 より大規模なモデルは、AIWおよびAIW+の変種に対して、より小さなモデルより頑健か？
• RQ5 AIW+や言い換え（SQL、パラメトリック形など）は、推論と一般化のより深い弱点を露呈させるか？

主な発見

• ほとんどのSOTA LLMがAIW問題で著しい崩壊を示し、多くは正答率を0.2を超えることができない。
• GPT-4とClaude 3 Opusは顕著な例外で、より高い正答率を達成するが、それでも試行をまたいで失敗がある。
• AIW+は、GPT-4やClaude 3 Opusを含むすべての試験モデルのパフォーマンスをさらに崩壊させる。
• 高い標準化ベンチマークスコア（例：MMLU）とAIWのパフォーマンスの間には強いミスキャリブレーションがあり、ベンチマーク間の比較を覆す。
• 過信と作話が誤回答に付き、マルチターンのプロンプトでは誤った解法をほとんど修正しない。
• 小規模モデルはAIWに特に脆弱であり、一部の大規模モデルは時折正しい推論を示すが、変異に対する頑健性は乏しい。

Figure 2: Collapse of most SOTA LLMs on AIW problem. Models with non-zero AIW ( main ) and AIW+ ( inlay ) correct response rate (averaged across prompt variations with prompt types THINKING and STANDARD). Leading on AIW, GPT-4o collapses strongly on AIW+. Omitted models score 0.