[논문 리뷰] Strategic Chain-of-Thought: Guiding Accurate Reasoning in LLMs through Strategy Elicitation

Yu Wang, Shiwan Zhao외 7명|arXiv (Cornell University)|2024. 09. 05.

Big Data and Business Intelligence인용 수 4

한 줄 요약

이 논문은 단일 프롬프트, 이중 단계 방법인 전략적 체인 오브 써포트(Scot)를 제안한다. 이는 먼저 문제 해결 전략을 최적화된 방식으로 유도한 후 체인 오브 써포트(코트) 추론 경로를 생성함으로써 대규모 언어 모델(LLM)의 추론 정확도를 크게 향상시킨다. Llama3-8b를 사용하여, Scot은 GSM8K에서 21.05% 향상, Tracking_Objects에서 24.13% 향상 달성하여, 다중 쿼리나 외부 지식 소스 없이도 표준 CoT를 능가한다.

ABSTRACT

The Chain-of-Thought (CoT) paradigm has emerged as a critical approach for enhancing the reasoning capabilities of large language models (LLMs). However, despite their widespread adoption and success, CoT methods often exhibit instability due to their inability to consistently ensure the quality of generated reasoning paths, leading to sub-optimal reasoning performance. To address this challenge, we propose the extbf{Strategic Chain-of-Thought} (SCoT), a novel methodology designed to refine LLM performance by integrating strategic knowledge prior to generating intermediate reasoning steps. SCoT employs a two-stage approach within a single prompt: first eliciting an effective problem-solving strategy, which is then used to guide the generation of high-quality CoT paths and final answers. Our experiments across eight challenging reasoning datasets demonstrate significant improvements, including a 21.05\% increase on the GSM8K dataset and 24.13\% on the Tracking\_Objects dataset, respectively, using the Llama3-8b model. Additionally, we extend the SCoT framework to develop a few-shot method with automatically matched demonstrations, yielding even stronger results. These findings underscore the efficacy of SCoT, highlighting its potential to substantially enhance LLM performance in complex reasoning tasks.

연구 동기 및 목표

• 표준 체인 오브 써포트(CoT) 방법이 LLM에서 생성하는 추론 경로의 안정성과 변동성을 해결하기 위해.
• 다중 쿼리 방법이나 외부 지식 소스에 의존하지 않고 추론 정확도를 향상시키기 위해.
• 단일 프롬프트 내에서 고품질 CoT 경로 생성을 이끌어내는 전략 유도 프레임워크를 개발하기 위해.
• 전략 기반의 예시 매칭을 활용해 SCoT를 소수의 예시로 확장하여 성능을 향상시키기 위해.
• 대규모 언어 모델을 사용해 SCoT 프롬프트 템플릿을 자동으로 생성하는 것이 가능한지 평가하기 위해.

제안 방법

• Scot은 이중 단계 프롬프팅 프로세스를 사용한다: 먼저 단일 프롬프트 내에서 효과적인 문제 해결 전략을 유도한다.
• 유도된 전략은 이후 고품질 CoT 추론 경로 및 최종 답변 생성을 안내하는 데 사용된다.
• 프롬프트 효과를 향상시키기 위해 역할 할당, 구조화된 워크플로우, 마크다운 형식을 통합한다.
• 소수의 예시 확장은 전략 지식을 활용해 사전 정의된 코퍼스에서 관련된 예시를 자동으로 매칭한다.
• 이 방법은 다중 쿼리 추론과 외부 지식을 회피함으로써 계산 비용과 운영 오버헤드를 감소시킨다.
• 자동 프롬프트 생성은 대규모 언어 모델(Qwen2-72B)을 사용해 SCoT 개념 기반으로 SCoT 템플릿을 생성함으로써 평가된다.

실험 결과

연구 질문

• RQ1 CoT 생성 이전에 문제 해결 전략을 유도하는 것이 LLM의 추론 정확도를 향상시킬 수 있는가?
• RQ2 성능과 효율성 측면에서 Scot은 표준 CoT 및 기타 다중 쿼리 또는 지식 증강 방법과 비교해 어떻게 다른가?
• RQ3 전략 기반의 예시 선택을 활용해 Scot을 소수의 예시 설정으로 효과적으로 확장할 수 있는가?
• RQ4 대규모 언어 모델을 사용해 효과적인 SCoT 프롬프트 템플릿을 자동으로 생성하는 것은 가능한가?
• RQ5 역할, 워크플로우, 구조, 예시 수와 같은 프롬프트 구성 요소가 Scot의 정확도에 어떤 영향을 미치는가?

주요 결과

• Llama3-8b 모델을 사용하여 Scot은 표준 CoT 대비 GSM8K 데이터셋에서 21.05%의 절대적 정확도 향상을 달성했다.
• Tracking_Objects 데이터셋에서 Scot은 CoT 대비 성능을 24.13% 향상시켜 복잡한 추론 작업에서 뚜렷한 성과를 보였다.
• Scot의 소수의 예시 확장은 정제된 코퍼스에서 전략 기반 예시 매칭을 활용해 성능을 추가로 향상시켰다.
• Scot 출력의 토큰 길이는 CoT 대비 평균 1.5배로, 범위는 1.03배에서 1.8배까지였으며, 이는 관리 가능한 효율성 오버헤드임을 시사한다.
• Qwen2-72B를 사용해 SCoT 프롬프트를 자동 생성한 결과, AQuA에서 31.89%의 정확도를 기록하여 0-샷 CoT(29.13%)를 초월하고 수작업으로 제작된 SCoT(33.60%)에 가까워졌다.
• Scot은 GSM8K에서 반복적인 출력 패tern을 감소시켰으며, 특히 길이 제약 조건 하에서 CoT 0-샷에서 모델 출력이 반복적인 토큰 생성 경향이 있었던 것을 고려할 때 효과적이다.