[논문 리뷰] Faithful Logical Reasoning via Symbolic Chain-of-Thought

Jundong Xu, Fei Hao외 4명|arXiv (Cornell University)|2024. 05. 28.

Logic, Reasoning, and Knowledge인용 수 4

한 줄 요약

이 논문은 체인 오브 토트(Chain-of-Thought) 프om프팅에 기호 표현과 논리 규칙을 통합하여 논리적 추론 능력을 향상시키는 완전히 LLM 기반의 프레임워크인 SymbCoT을 제안한다. 자연어를 일阶논리로 변환하고, 추론 규칙을 적용하여 기호적 추론을 수행하며, 결과를 검증함으로써 다섯 개의 데이터셋에서 최신 기준 성능을 달성하며, 논리적 추론 작업에서 더 높은 신뢰성, 유연성, 설명 가능성을 확보한다.

ABSTRACT

While the recent Chain-of-Thought (CoT) technique enhances the reasoning ability of large language models (LLMs) with the theory of mind, it might still struggle in handling logical reasoning that relies much on symbolic expressions and rigid deducing rules. To strengthen the logical reasoning capability of LLMs, we propose a novel Symbolic Chain-of-Thought, namely SymbCoT, a fully LLM-based framework that integrates symbolic expressions and logic rules with CoT prompting. Technically, building upon an LLM, SymbCoT 1) first translates the natural language context into the symbolic format, and then 2) derives a step-by-step plan to solve the problem with symbolic logical rules, 3) followed by a verifier to check the translation and reasoning chain. Via thorough evaluations on 5 standard datasets with both First-Order Logic and Constraint Optimization symbolic expressions, SymbCoT shows striking improvements over the CoT method consistently, meanwhile refreshing the current state-of-the-art performances. We further demonstrate that our system advances in more faithful, flexible, and explainable logical reasoning. To our knowledge, this is the first to combine symbolic expressions and rules into CoT for logical reasoning with LLMs. Code is open at https://github.com/Aiden0526/SymbCoT.

연구 동기 및 목표

• 표현적이고 규칙 기반의 논리적 추론에 의존하는 기호 표현을 다룰 수 있도록 표준 체인 오브 토트의 한계를 보완하기 위해.
• 기존의 LLM-기호 통합 방법에서 외부 기호 해석기 의존성으로 인해 발생하는 융통성과 설명 가능성의 제한을 극복하기 위해.
• 외부 도구 없이도 기호 번역, 논리적 추론, 검증을 전부 수행할 수 있는 완전한 엔드 투 엔드 LLM 기반 시스템을 개발하기 위해.
• 추론 체인 동안 엄격한 기호 추론 규칙을 적용하여 논리적 추론의 정확성과 신뢰성을 향상시키기 위해.
• 체인 오브 토트 내 기호적 추론이 표준 자연어 기반 체인 오브 토트 및 기존 하이브리드 시스템을 능가할 수 있음을 입증하기 위해.

제안 방법

• SymbCoT은 네 모듈로 구성된 파이프라인을 사용한다: 번역기(자연어를 기호 논리, 예를 들어 일阶논리로 변환), 기획기(기호적 추론 계획을 단계별로 생성), 해답기(기타 존재적 도입, 결합 제거와 같은 논리 추론 규칙 적용), 검증기(번역 및 추론 체인의 정확성 검증).
• 시스템은 LLM을 사용해 기호 번역과 추론을 수행함으로써 외부 기호 해석기 의존성을 제거하여 완전한 엔드 투 엔드 LLM 기반 논리적 추론을 가능하게 한다.
• 기호 표현은 형식 논리에 기반하여 전제와 추론을 정확하게 표현할 수 있게 하여 자연어 추론에서 내재된 모호성을 줄인다.
• 기획기 모듈은 기호 추론 규칙을 사용해 중간 추론 단계를 생성함으로써 논리적 엄밀함과 추적 가능성을 보장한다.
• 검증기 모듈은 기호 번역의 정확성과 추론 체인의 타당성을 모두 점검함으로써 신뢰성과 정확성을 향상시킨다.
• 이 프레임워크는 일阶논리와 제약 최적화 문제를 모두 지원하여 다양한 논리적 추론 작업에 널리 적용 가능하다.

실험 결과

연구 질문

• RQ1 기호 논리를 체인 오브 토트 추론에 통합하면 LLM의 논리적 추론 작업에서 정확도와 정확성의 향상이 상당히 이루어지는가?
• RQ2 완전히 LLM 기반의 기호적 추론 시스템이 외부 기호 해석기를 사용하는 기존 하이브리드 접근 방식을 능가하는가?
• RQ3 표준 자연어 기반 체인 오브 토트에 비해 기호적 체인 오브 토트는 과도한 일반화와 잘못된 추론을 얼마나 줄이는가?
• RQ4 체인 오브 토트 내 기호적 추론은 설명 가능성은 유지하면서도 논리적 엄밀함과 정확성을 향상시킬 수 있는가?
• RQ5 SymbCoT은 다양한 논리적 추론 벤치마크에서 어떻게 성능을 발휘하는가. 특히 엄격한 추론 규칙과 기호 조작이 필요한 작업에서의 성능은 어떠한가?

주요 결과

• SymbCoT은 다섯 개의 표준 논리적 추론 데이터셋에서 최신 기준 성능을 기록하며, 표준 체인 오브 토트 및 기존 하이브리드 방법을 일관되게 능가한다.
• 내부 검증기로 검증된 결과에 따르면 추론의 정확성이 크게 향상되었으며, 과도한 일반화로 인한 잘못된 추론이 감소했다.
• 기호 추론 규칙를 통해 추론 체인을 완전히 추적 가능하게 하여 설명 가능성을 향상시켰으며, 블랙박스 성격의 자연어 추론과는 대조된다.
• 외부 기호 해석기 의존도를 줄여 완전한 엔드 투 엔드 LLM 기반 추론 파이프라인을 구현함으로써 더 높은 융통성과 유지보수 용이성을 확보했다.
• AR-LSAT 및 FOLIO 벤치마크에서 SymbCoT은 완전히 기호적 추론 체인을 사용해 불가능한 스케줄 옵션(C)을 정확히 식별하며 복잡한 제약 추론에서의 강건성을 입증했다.
• 검증기 모듈은 번역 오류와 추론 오류를 성공적으로 탐지하여 전체 신뢰성 향상과 논리적 추론에서의 잘못된 양성 결과 감소에 기여했다.