[論文レビュー] Inductive or Deductive? Rethinking the Fundamental Reasoning Abilities of LLMs

Kewei Cheng, Jingfeng Yang+10 more|arXiv (Cornell University)|Jul 31, 2024

Law, AI, and Intellectual Property被引用数 4

ひとこと要約

この論文は、文脈内例からの入力-出力マッピング関数の推論を通じて、大規模言語モデル（LLMs）の純粋な帰納的推論能力を分離・評価するための新規フレームワーク、SolverLearnerを導入する。ACC ≈ 1に近い帰納的性能を示す一方で、特に反事後的推論タスクにおいて、帰納的推論とは対照的に顕著な帰納的推論の弱さを示し、推論能力に顕著な非対称性が存在することが明らかになった。

ABSTRACT

Reasoning encompasses two typical types: deductive reasoning and inductive reasoning. Despite extensive research into the reasoning capabilities of Large Language Models (LLMs), most studies have failed to rigorously differentiate between inductive and deductive reasoning, leading to a blending of the two. This raises an essential question: In LLM reasoning, which poses a greater challenge - deductive or inductive reasoning? While the deductive reasoning capabilities of LLMs, (i.e. their capacity to follow instructions in reasoning tasks), have received considerable attention, their abilities in true inductive reasoning remain largely unexplored. To investigate into the true inductive reasoning capabilities of LLMs, we propose a novel framework, SolverLearner. This framework enables LLMs to learn the underlying function (i.e., $y = f_w(x)$), that maps input data points $(x)$ to their corresponding output values $(y)$, using only in-context examples. By focusing on inductive reasoning and separating it from LLM-based deductive reasoning, we can isolate and investigate inductive reasoning of LLMs in its pure form via SolverLearner. Our observations reveal that LLMs demonstrate remarkable inductive reasoning capabilities through SolverLearner, achieving near-perfect performance with ACC of 1 in most cases. Surprisingly, despite their strong inductive reasoning abilities, LLMs tend to relatively lack deductive reasoning capabilities, particularly in tasks involving ``counterfactual'' reasoning.

研究の動機と目的

• LLM研究における帰納的推論と帰納的推論の明確な区別が不足しているという問題に対処すること。
• LLMにとってより大きな挑戦をもたらす推論タイプ（帰納的か帰納的か）を特定すること。
• LLMに基づく帰納的推論から純粋な帰納的推論を分離するフレームワークを開発すること。
• 一貫したタスクを用いて、さまざまな推論の焦点に応じてLLMの真の帰納的推論能力を評価すること。
• 特に反事後的推論シナリオにおいて顕著なLLM推論能力の非対称性を明らかにすること。

提案手法

• LLMsが文脈内例のみを用いて入力から出力への関数 $ y = f_w(x) $ の背後にある関数を学習できるようにする、SolverLearnerというフレームワークを提案する。
• 一貫したタスク（例：算術）を用いて、純粋な帰納的推論から純粋な帰納的推論へと移行する4つの方法を用いた比較実験を設計する。
• 入力-出力（IO）プロンプトを帰納的推論のベースラインとして用いるが、帰納的推論と帰納的推論を分離できないという限界を特定する。
• 明示的な関数定義を削除し、少数の例からマッピングをモデルが推論するようにすることで、帰納的推論を分離する。
• 多様な推論タスク（例：9進法と10進法の算術）を用いて、正答率（ACC）を用いて性能を評価する。
• GPT-3.5とGPT-4などのLLMを比較することで、モデルスケールが帰納的推論能力に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 LLMsの少数例学習における優れたパフォーマンスは、真の帰納的推論を反映しているのか、それとも帰納的推論と混合しているのか？
• RQ2 純粋な帰納的推論におけるLLMsのパフォーマンスは、帰納的推論におけるパフォーマンスと比べてどう異なるか？
• RQ3 モデルスケールは帰納的推論能力にどのように影響するか？
• RQ4 強い帰納的推論能力を示すにもかかわらず、なぜLLMsは反事後的推論タスクで困難を抱えるのか？
• RQ5 SolverLearnerのようなフレームワークは、LLMsにおける純粋な帰納的推論を効果的に分離・評価できるのか？

主な発見

• SolverLearnerフレームワークを用いて評価した場合、LLMsはほとんどのタスクで正答率（ACC）が1に近い、ほぼ完璧な帰納的推論パフォーマンスを達成する。
• 強い帰納的推論を示す一方で、特に9進法算術などの反事後的推論タスクにおいて顕著に弱い帰納的推論能力を示す。
• GPT-4はすべてのタスクで一貫した帰納的推論パフォーマンス（ACC = 1）を示すが、GPT-3.5はいくつかのケースで正しいマッピングを学習できないため、モデルスケール依存性が明らかになった。
• このフレームワークにより、関数が一意に決定可能（例：2点から定まる線形関数）である場合、少数例の数に依存せずに帰納的推論が可能であることが明らかになった。
• 本研究では、LLMsが帰納的推論に優れているが、非標準的または反事後的状況では帰納的推論に苦労することから、顕著な非対称性が存在することが明らかになった。
• 結果から、Chain-of-Thought（COT）のような現在のプロンプティング技術は、帰納的推論のギャップを埋めるのに効果的でない可能性がある。これは、COTが主に帰納的推論の向上を目的として設計されており、帰納的推論能力の評価を目的としていないからである。