[논문 리뷰] Inductive or Deductive? Rethinking the Fundamental Reasoning Abilities of LLMs

Kewei Cheng, Jingfeng Yang외 10명|arXiv (Cornell University)|2024. 07. 31.

Law, AI, and Intellectual Property인용 수 4

한 줄 요약

이 논문은 LLM이 입력-출력 매핑 함수를 문맥 예시로부터 추론하도록 훈련시켜 순수 인도적 추론 능력을 분리하고 평가하는 새로운 프레임워크인 SolverLearner를 소개한다. 비록 거의 완벽한 인도적 성능(ACC ≈ 1)을 보였지만, LLM은 특히 반대가정 추론 작업에서 추론 능력에 심각한 약점을 보이며, 이는 그들의 추론 능력에 근본적인 비대칭성을 드러낸다.

ABSTRACT

Reasoning encompasses two typical types: deductive reasoning and inductive reasoning. Despite extensive research into the reasoning capabilities of Large Language Models (LLMs), most studies have failed to rigorously differentiate between inductive and deductive reasoning, leading to a blending of the two. This raises an essential question: In LLM reasoning, which poses a greater challenge - deductive or inductive reasoning? While the deductive reasoning capabilities of LLMs, (i.e. their capacity to follow instructions in reasoning tasks), have received considerable attention, their abilities in true inductive reasoning remain largely unexplored. To investigate into the true inductive reasoning capabilities of LLMs, we propose a novel framework, SolverLearner. This framework enables LLMs to learn the underlying function (i.e., $y = f_w(x)$), that maps input data points $(x)$ to their corresponding output values $(y)$, using only in-context examples. By focusing on inductive reasoning and separating it from LLM-based deductive reasoning, we can isolate and investigate inductive reasoning of LLMs in its pure form via SolverLearner. Our observations reveal that LLMs demonstrate remarkable inductive reasoning capabilities through SolverLearner, achieving near-perfect performance with ACC of 1 in most cases. Surprisingly, despite their strong inductive reasoning abilities, LLMs tend to relatively lack deductive reasoning capabilities, particularly in tasks involving ``counterfactual'' reasoning.

연구 동기 및 목표

• LLM 연구에서 인도적 추론과 연역적 추론 간의 명확한 차이가 부족한 문제를 해결하기 위해.
• LLM에게 더 큰 도전 과제가 되는 추론 유형—인도적 추론인지 연역적 추론인지 파악하기 위해.
• LLM 기반의 연역적 추론에서 순수 인도적 추론을 분리하는 프레임워크를 개발하기 위해.
• 다양한 추론 초점에서 일관된 작업을 사용하여 LLM의 진정한 인도적 추론 능력을 평가하기 위해.
• 특히 반대가정 추론 상황에서 LLM의 추론 능력에 나타나는 비대칭성을 드러내기 위해.

제안 방법

• LLM이 문맥 예시만을 사용하여 입력-출력 매핑 함수 $ y = f_w(x) $ 를 학습할 수 있도록 하는 프레임워크인 SolverLearner를 제안한다.
• 순수 연역적 추론에서 순수 인도적 추론으로 전환되는 네 가지 방법을 사용하여 일관된 작업(예: 산술)을 기반으로 비교 실험을 설계한다.
• 입력-출력(IO) 프롬프팅을 인도적 추론의 기준으로 사용하지만, 인도적 추론와 연역적 추론를 분리하는 데서의 한계를 밝힌다.
• 명시적인 함수 정의를 제거하고 소수의 예시로부터 매핑을 추론하도록 모델에 요구함으로써 인도적 추론을 분리한다.
• 기본 9진수 및 기본 10진수 산술을 포함한 다양한 추론 작업에서 정확도(ACC)를 사용해 성능을 평가한다.
• GPT-3.5와 GPT-4와 같은 LLM 간 성능을 비교하여 모델 규모가 인도적 추론 능력에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 LLM의 소수 예시 학습에서의 뛰어난 성능은 진정으로 인도적 추론을 반영하는 것일까, 아니면 연역적 추론과의 혼합일까?
• RQ2 순수 인도적 추론에서 LLM의 성능는 연역적 추론에서의 성능와 비교해 어떻게 다를까?
• RQ3 모델 규모는 인도적 추론 능력에 어떤 역할을 하는가?
• RQ4 강력한 인도적 추론 능력을 지닌 LLM이 반대가정 추론 작업에서 어려움을 겪는 이유는 무엇인가?
• RQ5 SolverLearner와 같은 프레임워크는 LLM의 순수 인도적 추론 능력을 효과적으로 분리하고 평가할 수 있는가?

주요 결과

• SolverLearner 프레임워크를 통해 평가했을 때 LLM은 대부분의 작업에서 정확도(ACC)가 1에 가까운 거의 완벽한 인도적 추론 성능를 보였다.
• 강력한 인도적 추론 능력에도 불구하고 LLM은 특히 9진수 산술와 같은 반대가정 추론 작업에서 뚜렷하게 열악한 연역적 추론 능력을 보였다.
• GPT-4는 모든 작업에서 일관된 인도적 추론 성능(ACC = 1)을 보였지만, GPT-3.5는 몇몇 경우에서 정확한 매핑을 학습하지 못해 모델 규모 의존성을 보였다.
• 이 프레임워크는 함수가 유일하게 결정 가능한 경우(예: 두 점으로부터 유도된 선형 함수)에 소수의 예시 수에 의해 인도적 추론 능력이 본질적으로 제한되지 않는다는 것을 드러냈다.
• 이 연구는 근본적인 비대칭성을 규명했다: LLM은 인도적 추론 능력이 매우 뛰어나지만, 비표준 또는 반대가정 상황에서는 연역적 추론 능력에 어려움을 겪는다.
• 결과는 현재의 프롬프팅 기법인 체인 오브 톰(Chain-of-Thought, COT)이 연역적 추론 능력 향상에 주로 설계되어 있어 인도적 추론 능력을 평가하는 데에는 효과적이지 않다는 것을 시사한다.