[논문 리뷰] Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Driven Prolog-based Chain-of-Thought

Xiaoyu Tan, Yongxin Deng외 6명|arXiv (Cornell University)|2024. 07. 18.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 검증된 Prolog 기반 추론 경로를 모방함으로써 대규모 언어 모델의 추론 능력을 향상시키는 자기주도적 프레임워크인 Thought-Like-Pro를 제안한다. 기호적 Prolog 엔진을 사용해 정확한 논리적 추론을 생성하고 이를 자연어 형태의 Chain-of-Thought (CoT) 프롬프트로 변환함으로써, LLM이 강력하고 일반화 가능한 추론 패턴을 학습할 수 있도록 한다. 이로 인해 외부 분포(out-of-distribution) 추론 작업에서의 성능이 크게 향상되며, 치명적인 기억 상실(catastrophic forgetting)의 정도도 최소화된다.

ABSTRACT

Large language models (LLMs) have shown exceptional performance as general-purpose assistants, excelling across a variety of reasoning tasks. This achievement represents a significant step toward achieving artificial general intelligence (AGI). Despite these advancements, the effectiveness of LLMs often hinges on the specific prompting strategies employed, and there remains a lack of a robust framework to facilitate learning and generalization across diverse reasoning tasks. To address these challenges, we introduce a novel learning framework, THOUGHT-LIKE-PRO In this framework, we utilize imitation learning to imitate the Chain-of-Thought (CoT) process which is verified and translated from reasoning trajectories generated by a symbolic Prolog logic engine. This framework proceeds in a self-driven manner, that enables LLMs to formulate rules and statements from given instructions and leverage the symbolic Prolog engine to derive results. Subsequently, LLMs convert Prolog-derived successive reasoning trajectories into natural language CoT for imitation learning. Our empirical findings indicate that our proposed approach substantially enhances the reasoning abilities of LLMs and demonstrates robust generalization across out-of-distribution reasoning tasks.

연구 동기 및 목표

• 다양한 작업에서 대규모 언어 모델의 추론 능력을 향상시키기 위한 일반화 가능한 프레임워크가 부족한 문제를 해결하기 위해.
• 형식적으로 검증된 기호적 논리 엔진에 기반한 추론 단계를 통해 자동순차적 추론에서 오류 전파를 줄이기 위해.
• 검증된 CoT 경로의 이mitation 학습을 통해 기호적 추론과 신경망 언어 모델 간의 격차를 메우기 위해.
• 논리적으로 올바른, Prolog로 검증된 추론 경로를 통해 학습함으로써 LLM이 외부 분포 추론 작업으로 일반화할 수 있도록 하기 위해.
• 모델 평균화를 사용하여 도메인 특화 미세조정 중 치명적인 기억 상실을 완화하기 위해.

제안 방법

• 자연어 지시문과 예시로부터 오픈소스 LLM을 사용해 Prolog 사실, 규칙, 질의를 생성한다.
• 기호적 Prolog 엔진을 활용해 논리적 추론을 수행하고 추론 경로의 정확성을 검증한다.
• 검증된 추론 경로만을 선택하여 자연어 형태의 Chain-of-Thought (CoT) 시퀀스로 변환한다.
• Prolog에서 유도된 추론 단계를 구조화된 자연어 CoT 프롬프트로 변환하여 지도 미세조정(SFT)에 활용한다.
• 미세조정 중 모델 평균화를 적용하여 치명적인 기억 상실을 방지하고 일반화 능력을 향상시킨다.
• 자기주도 루프를 활용: LLM이 논리 생성 → Prolog가 검증 → CoT 생성 → 검증된 CoT로 LLM을 미세조정.

실험 결과

연구 질문

• RQ1 Prolog를 통한 기호적 검증이 LLM 추론 경로의 신뢰성과 정확도를 향상시킬 수 있는가?
• RQ2 검증된 Prolog 기반 추론 경로에서의 이mitation 학습이 외부 분포 추론 작업에서 LLM의 일반화 능력을 향상시킬 수 있는가?
• RQ3 기호적 논리와 신경망 모델의 통합이 추론 정확도와 견고성에 어떤 영향을 미치는가?
• RQ4 자기주도적이고 Prolog로 보강된 CoT 생성 방식이 자동순차적 추론에서 오류 전파를 얼마나 줄일 수 있는가?
• RQ5 이 하이브리드 프레임워크에서 모델 평균화가 작업 특화 미세조정 중 치명적인 기억 상실을 효과적으로 완화하는가?

주요 결과

• 제안된 Thought-Like-Pro 프레임워크는 다양한 추론 작업에서 LLM의 추론 능력을 크게 향상시킨다.
• 이 방법은 표준 CoT와 소수 예시 프롬프팅보다 외부 분포 추론 작업에서 뛰어난 일반화 능력을 보여준다.
• Prolog 엔진에서 유도된 검증된 추론 경로가 잘못된 추론 경로를 제거하여 LLM 내 오류 전파를 줄인다.
• 미세조정 중 모델 평균화를 활용함으로써 치명적인 기억 상실을 효과적으로 완화하여 이전에 학습한 작업의 성능을 유지한다.
• 프레임워크는 Prolog 기반 논리적 추론을 자연어 CoT로 성공적으로 변환하여 LLM이 효과적인 이mitation 학습을 수행할 수 있도록 한다.
• 실험 결과, Prolog로 검증된 CoT 시퀀스로 미세조정된 LLM은 복잡한 논리 및 산술 추론 작업에서 더 높은 정확도와 일관성을 확보한다.