[論文レビュー] Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse

Ryan Liu, Jiayi Geng+4 more|arXiv (Cornell University)|Oct 27, 2024

Complex Systems and Decision Making被引用数 4

ひとこと要約

この論文は、言語的熟考（CoT）プロンプティングが、暗黙的統計的学習、視覚認識、例外を含む分類の分野において、人間のパフォーマンスを損なう言語的熟考が有害であるタスクにおいて、大規模言語モデルおよびマルチモーダルモデルの性能を低下させることを特定している。特に、CoTはゼロショット推論と比較して、最大36.3%の精度低下を引き起こすことが示され、認知心理学に基づいたヒューリスティックを提示し、こうした失敗事例を予測可能にする。

ABSTRACT

Chain-of-thought (CoT) prompting has become a widely used strategy for improving large language and multimodal model performance. However, it is still an open question under which settings CoT systematically reduces performance. In this paper, we seek to identify the characteristics of tasks where CoT reduces performance by drawing inspiration from cognitive psychology, focusing on six representative tasks from the psychological literature where deliberation hurts performance in humans. In three of these tasks, state-of-the-art models exhibit significant performance drop-offs with CoT (up to 36.3\% absolute accuracy for OpenAI o1-preview compared to GPT-4o), while in others, CoT effects are mixed, with positive, neutral, and negative changes. While models and humans do not exhibit perfectly parallel cognitive processes, considering cases where thinking has negative consequences for humans helps identify settings where it negatively impacts models. By connecting the literature on human verbal thinking and deliberation with evaluations of CoT, we offer a perspective for understanding the impact of inference-time reasoning.

研究の動機と目的

• チェーン・オブ・スティェートメント（CoT）プロンプティングがモデルのパフォーマンスを向上させるのではなく低下させる状況を同定すること。
• 人間のパフォーマンス低下が言語的思考によって引き起こされる認知心理学の知見が、LLMおよびVLMにおいて同様の失敗を予測できるかを検討すること。
• 人間の熟考下でパフォーマンスが低下するタスク（条件i）かつ人間の制約がモデルに一般化される（条件ii）タスクが、CoTの失敗事例であるかどうかを検証すること。
• CoTが共通する認知的制約に基づいてモデルに悪影響を及えるケースと、モデルの能力が人間の制限とは乖離しているケースを区別すること。

提案手法

• 人間の熟考下でパフォーマンスが低下する（i）かつ制約がモデルに一般化される（ii）という両条件を満たす3つの心理的タスク、および（i）を満たすが（ii）を満たさない3つのタスクを、最新のLLMおよびVLMで評価可能に再設計した。
• 暗黙的統計的学習、顔認識、例外を含む分類という3つのコアな失敗タスクにおいて、ゼロショット推論とCoTプロンプティングの両方を用いてパフォーマンスを評価した。
• 標準化されたベンチマークと制御されたプロンプト工学を用い、CoTがモデルの精度に与える影響を隔離し、ゼロショットベースラインと比較した。
• 推論時推論手法の代替手法（例：ツリー・オブ・スティェートメント）を拡張して分析し、性能低下が推論時推論手法の種類にかかわらず継続することを確認した。
• 人間の認知心理学とモデル行動を結びつけるヒューリスティックフレームワークを適用し、既知の人間の失敗事例をモデルの失敗事例の予測要因として使用した。
• 実装固有のアーティファクトが性能差の原因である可能性を排除するため、広範なアブレーションおよびプロンプトバリエーションの研究を実施した。

実験結果

リサーチクエスチョン

• RQ1 どのタスクにおいてチェーン・オブ・スティェートメント（CoT）プロンプティングがモデルのパフォーマンスを向上させるのではなく低下させるのか？
• RQ2 言語的思考が人間のパフォーマンスを損なうケースが、大規模言語モデルおよびマルチモーダルモデルにおいて同様の悪影響を引き起こす予測が可能か？
• RQ3 人間とモデルの間で、CoTがパフォーマンスを低下させる理由を説明する共通する認知的制約は存在するか？
• RQ4 人間とモデルの事前知識や作業記憶制限に差があるタスクでは、CoTプロンプティングへの反応が異なるのか？
• RQ5 ツリー・オブ・スティェートメントのような代替推論手法は、標準的なCoTで観察された負の影響を再現するのか？

主な発見

• 暗黙的統計的学習タスクにおいて、CoTプロンプティングはモデルの精度を最大36.3ポイント低下させた。OpenAI o1-previewはゼロショット時の94.00%からCoT時の57.70%に低下した。
• 顔認識タスクでは、GPT-4oの精度が21.8%の絶対的低下を示し、ゼロショット時の82.5%からCoT時の60.7%に低下した。
• 例外を含む分類タスクでは、LLaMA-3-70Bの精度が18.5%低下し、ゼロショット時の85.2%からCoT時の66.7%に低下した。
• 人間とモデルの制約に差があるタスク（例：作業記憶制限）では、CoTによる性能低下が見られず、場合によっては向上した。これは、失敗が普遍的ではないことを示している。
• ツリー・オブ・スティェートメントプロンプティングも、暗黙的統計的学習タスクで性能回復に失敗し、標準的なCoT（62.52%）よりもわずかに高い64.55%の精度にとどまり、ゼロショットの94.00%ベースラインには大きく届かない。
• 広範なプロンプトバリエーションの結果、性能低下がプロンプト実装の差に起因するものではないことが判明した。3つのコアな失敗タスクにおいて、あらゆるプロンプト変更を試みても負の効果は解消されなかった。