[논문 리뷰] LogiCoT: Logical Chain-of-Thought Instruction-Tuning

Hanmeng Liu, Zhiyang Teng외 4명|arXiv (Cornell University)|2023. 05. 20.

Topic Modeling인용 수 4

한 줄 요약

LogiCoT는 GPT-4를 사용하여 다양하고 다단계의 추론 예제를 생성함으로써 대규모 지침 튜닝 데이터셋을 제공하는 논리적 사고 체인 추론을 위한 것입니다. LogiCoT로 LLaMA-7b를 피니어튜닝하면 논리적 추론 벤치마크에서 성능이 크게 향상되어 LogiEval에서 40.7%, MMLU에서 43.3%를 기록하며 최신 지침 튜닝 모델을 능가합니다.

ABSTRACT

Generative Pre-trained Transformer 4 (GPT-4) demonstrates impressive chain-of-thought reasoning ability. Recent work on self-instruction tuning, such as Alpaca, has focused on enhancing the general proficiency of models. These instructions enable the model to achieve performance comparable to GPT-3.5 on general tasks like open-domain text generation and paraphrasing. However, they fall short of helping the model handle complex reasoning tasks. To bridge the gap, this paper presents LogiCoT, a new instruction-tuning dataset for Logical Chain-of-Thought reasoning with GPT-4. We elaborate on the process of harvesting instructions for prompting GPT-4 to generate chain-of-thought rationales. LogiCoT serves as an instruction set for teaching models of logical reasoning and elicits general reasoning skills.

연구 동기 및 목표

• 오픈소스 대규모 언어 모델에서 다양하고 복잡한 논리적 추론 지침 데이터의 부족 문제를 해결하기 위해.
• GPT-4와 같은 기업용 모델과 오픈소스 모델 간의 다단계 논리적 추론 능력 격차를 메우기 위해.
• GPT-4를 활용해 고품질의 CoT 추론 데이터를 자동으로 생성할 수 있는 확장 가능한 자기지도 학습 방법을 개발하기 위해.
• 풍부한 논리적 추론 데이터를 활용한 지시 튜닝이 작은 대규모 언어 모델의 전문적 및 일반적인 추론 능력을 향상시킬 수 있음을 입증하기 위해.
• 커뮤니티와 향후 연구를 위해 LogiCoT 데이터셋과 피니어튜닝된 LLaMA-7b 모델을 공개하기 위해.

제안 방법

• 기존의 논리적 추론 데이터셋을 기반으로 GPT-4에 사고 체인 추론 근거를 생성하도록 프롬프트를 제공하여 사고 체인 추론 근거를 생성함.
• 기존의 논리적 추론 데이터를 재사용하고 GPT-4를 활용해 구조화되고 다단계인 추론 출력을 생성함으로써 다양한 지시 튜닝 데이터셋을 구축함.
• 다양한 추론 유형을 다루는 지시 템플릿을 설계함: 언어에서 논리로의 매핑, 단일 단계 추론, 추론 체인, 다중 선택 추론.
• 기호적 추론과 복잡한 다단계 논리적 추론을 포함한 총 70,000개의 학습 인스턴스를 수집함.
• 표준 지시 튜닝 목적함수를 사용하여 LogiCoT 데이터셋으로 LLaMA-7b 모델을 피니어튜닝함으로써 추론 일반화 능력을 향상시킴.
• 각 추론 유형이 전체 모델 성능에 기여하는 정도를 평가하기 위해 아블레이션 연구를 수행함.

Figure 1: A showcase of using GPT-4 and existing inference data to generate CoT rationales for logical reasoning.

실험 결과

연구 질문

• RQ1 GPT-4는 지시 튜닝을 위한 고품질이고 다양한 사고 체인 추론 예제를 효과적으로 생성할 수 있는가?
• RQ2 논리적 추론에 집중한 데이터셋을 활용한 지시 튜닝이 모델의 추론 벤치마크 성능에 어떤 영향을 미치는가?
• RQ3 다양한 추론 유형(예: 추론 체인, 다중 선택)이 전체 추론 성능에 미치는 상대적 기여는 어떠한가?
• RQ4 LLaMA-7b와 같은 작은 오픈소스 가중치 모델이 전문화된 CoT 데이터셋으로 피니어튜닝될 경우 얼마나 경쟁적인 추론 성능을 달성할 수 있는가?
• RQ5 LogiCoT 데이터셋은 전문적인 논리적 추론과 더 넓은 인간 중심의 벤치마크 모두에 일반화 가능한가?

주요 결과

• LogiCoT 지시 튜닝 LLaMA-7b 모델은 LogiEval 벤치마크에서 40.7%의 정확도를 기록하여 이전의 지시 튜닝 모델을 크게 능가함.
• MMLU 벤치마크에서는 43.3%의 정확도를 달성하여 다양한 추론 작업으로의 일반화 능력이 뛰어남.
• 아블레이션 연구에서 '추론 체인' 추론을 제거할 경우 성능 저하가 가장 커졌으며(LogiEval에서 30.8%), 이는 다단계 추론에서의 핵심적 역할을 확인함.
• MMLU에서 '다중 선택' 추론 유형을 제거했을 경우 가장 큰 부정적 영향을 미쳤으며(정확도 30.9%), 이는 다중 선택 논리적 작업에서의 중요성을 시사함.
• 사례 연구 결과, 정확한 경우에 모델은 일관된 추론 근거를 생성하지만 복잡한 문제에서는 잘못된 제약 조건을 도입하거나 선택지 평가를 건너뛰는 경우가 있음.
• 모델의 성능는 여전히 GPT-4 수준에 못 미치며 향상 여지가 있음에도 불구하고, 오픈소스 추론 모델의 강력한 베이스라인을 확립함.

Figure 2: An instance from the LogicInference dataset.