[論文レビュー] Strategic Chain-of-Thought: Guiding Accurate Reasoning in LLMs through Strategy Elicitation

Yu Wang, Shiwan Zhao+7 more|arXiv (Cornell University)|Sep 5, 2024

Big Data and Business Intelligence被引用数 4

ひとこと要約

本稿では、1つのプロンプトで2段階にわたり、まず最適な問題解決戦略を引き出すことにより、その後にチェーン・オブ・トゥグラウンデッド（CoT）推論経路を生成する、戦略的チェーン・オブ・トゥグラウンデッド（SCoT）を提案する。この手法により、大規模言語モデル（LLM）における推論精度が顕著に向上する。Llama3-8bを用いて評価したところ、GSM8Kでは21.05%、Tracking_Objectsでは24.13%の向上を達成し、複数クエリや外部知識源を必要としない点で標準的なCoTを上回る性能を示した。

ABSTRACT

The Chain-of-Thought (CoT) paradigm has emerged as a critical approach for enhancing the reasoning capabilities of large language models (LLMs). However, despite their widespread adoption and success, CoT methods often exhibit instability due to their inability to consistently ensure the quality of generated reasoning paths, leading to sub-optimal reasoning performance. To address this challenge, we propose the extbf{Strategic Chain-of-Thought} (SCoT), a novel methodology designed to refine LLM performance by integrating strategic knowledge prior to generating intermediate reasoning steps. SCoT employs a two-stage approach within a single prompt: first eliciting an effective problem-solving strategy, which is then used to guide the generation of high-quality CoT paths and final answers. Our experiments across eight challenging reasoning datasets demonstrate significant improvements, including a 21.05\% increase on the GSM8K dataset and 24.13\% on the Tracking\_Objects dataset, respectively, using the Llama3-8b model. Additionally, we extend the SCoT framework to develop a few-shot method with automatically matched demonstrations, yielding even stronger results. These findings underscore the efficacy of SCoT, highlighting its potential to substantially enhance LLM performance in complex reasoning tasks.

研究の動機と目的

• 標準的なチェーン・オブ・トゥグラウンデッド（CoT）手法が生み出す推論経路の品質に見られる不安定さとばらつきを是正すること。
• 複数クエリ手法や外部知識源に依存せずに推論精度を向上させること。
• 1つのプロンプト内で高品質なCoT経路生成を導く戦略の抽出フレームワークを構築すること。
• 戦略ベースのデモンストレーション照合を用いて、SCoTを少サンプル手法へ拡張し、性能を向上させること。
• 大規模言語モデルを用いてSCoTプロンプトテンプレートを自動生成する可能性を評価すること。

提案手法

• SCoTは2段階のプロンプト処理を採用する：まず、1つのプロンプト内で効果的な問題解決戦略を引き出す。
• 引き出された戦略を基に、高品質なCoT推論経路と最終的な答えを生成する。
• プロンプト効果を高めるために、役割割り当て、構造化されたワークフロー、およびマークダウンフォーマットを統合する。
• 少サンプル拡張では、戦略的知識を用いて事前に定義されたコーパスから関連するデモンストレーションを自動的に照合する。
• 複数クエリ推論や外部知識を回避することで、計算コストと運用負荷を低減する。
• 自動プロンプト生成は、大規模言語モデル（Qwen2-72B）を用いてSCoTの概念に基づき、SCoTテンプレートを生成することで評価した。

実験結果

リサーチクエスチョン

• RQ1 CoT生成の前に問題解決戦略を引き出すことで、LLMにおける推論精度が向上するか？
• RQ2 SCoTは、標準的なCoTや他の複数クエリまたは知識拡張手法と比較して、性能と効率の面でどのように差がつくか？
• RQ3 戦略ベースのデモンストレーション選択を用いて、SCoTを少サンプル設定に効果的に拡張できるか？
• RQ4 大規模言語モデルを用いて、効果的なSCoTプロンプトテンプレートを自動生成することは可能か？
• RQ5 プロンプトの構成要素（役割、ワークフロー、構造、デモンストレーション数など）がSCoTの精度に与える影響は何か？

主な発見

• Llama3-8bモデルを用いたGSM8Kデータセットでは、標準的なCoTと比較して、SCoTが21.05%の絶対的向上を達成した。
• Tracking_Objectsデータセットでは、CoTと比較してSCoTが24.13%の性能向上を示し、複雑な推論タスクにおける顕著な向上を実証した。
• SCoTの少サンプル拡張は、収集済みコーパスからの戦略ベースのデモンストレーション照合を活用することで、さらなる性能向上を実現した。
• SCoT出力のトークン長は、CoTの平均1.5倍（範囲：1.03～1.8倍）であり、効率的であると見なせるオーバーヘッドであった。
• Qwen2-72Bを用いてSCoTプロンプトを自動生成した結果、AQuAで31.89%の精度を達成し、0-shot CoT（29.13%）を上回り、手作業で作成されたSCoT（33.60%）に近い水準に達した。
• GSM8Kにおいて、繰り返し出力パターンが低減された。特に、長さ制約下でトークンの冗長生成が顕著だったCoT 0-shotでは顕著な改善が見られた。