[論文レビュー] ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting

Xiaoxue Cheng, Junyi Li+2 more|arXiv (Cornell University)|Mar 21, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、正しさの検証と成功判断のフィルタリングを併用した、三つの進化戦略（複雑化、多様化、明確化）を用いて、チェーン・オブ・トゥーク（CoT）プロンプトを改善するフレームワークであるCoTGeniusを紹介する。著者らはCoTGeniusを用いて高品質なCoTデータセットを生成し、Llama 2-7Bおよび13Bモデルを微調整してChainLMを構築した。このモデルは、GSM8Kでベースラインモデル比12.5%の絶対的向上を達成し、複雑な推論タスクで最先端の性能を発揮する。

ABSTRACT

Chain-of-Thought (CoT) prompting can enhance the reasoning capabilities of large language models (LLMs), establishing itself as a primary approach to solving complex reasoning tasks. Existing CoT synthesis approaches usually focus on simpler reasoning tasks and thus result in low-quality and inconsistent CoT prompts. In response to this challenge, we present an empirical investigation of CoT prompting and introduce CoTGenius, a novel framework designed for the automatic generation of superior CoT prompts. CoTGenius is developed based on three major evolution strategies, i.e., complicate, diversify, and specify-alongside two filtering mechanisms: evolutionary success judgement and correctness verification. We further employ CoTGenius to create an extensive CoT dataset, and subsequently fine-tune the Llama 2-Chat 7B and 13B models on this dataset. We call the resulting model ChainLM. To deal with the cumulative error issue in reasoning steps, we propose a step-level debating method, wherein multiple debaters discuss each reasoning step to arrive at the correct answer. Extensive experiments demonstrate that our ChainLM models exhibit enhanced proficiency in addressing a spectrum of complex reasoning problems compared to existing models. In addition, we conduct an in-depth analysis of the impact of data categories within CoTGenius on the model performance. We release our dataset and code at https://github.com/RUCAIBox/ChainLM.

研究の動機と目的

• 複雑なタスクに対して、低品質で一貫性がなく、不完全な推論チェーンを生成する既存のCoTプロンプト手法の限界を解消すること。
• 実証的分析を通じて、推論の完全性、明確性、論理的順序がLLM性能に与える影響を調査すること。
• 小規模なLLMの推論能力を向上させるために、高品質なCoTプロンプトを体系的に生成するフレームワークを開発すること。
• 段階的議論メカニズムを導入することで、推論チェーンにおける累積誤差を軽減すること。
• 広く研究利用可能な新たな高品質CoTデータセットと微調整済みモデル（ChainLM）を公開すること。

提案手法

• CoTGeniusは、質問の複雑化（複雑化）、質問のバリエーション生成（多様化）、推論ステップの詳細化（明確化）の三つの進化戦略を用い、反復的にCoTプロンプトを改善する。
• フレームワークは二つのフィルタリング機構を適用する：進化成功判断による高パフォーマンスの推論チェーンの保持、および推論ステップと答えの整合性を保証する正しさの検証。
• 段階的議論メカニズムを導入し、複数のLLMが独立して各推論ステップを評価・精錬した後、最終的な答えを統合する。
• 著者らは、自動生成されたCoTデータセット上でLlama 2-7Bおよび13Bモデルを微調整し、複雑な推論に最適化されたChainLMを生成した。
• GSM8Kを用いた実証的分析により、推論チェーンにおける完全性、明確性、論理的順序の影響を評価した。
• 最終モデルは、GSM8K、AIME、SVAMPを含む複数の推論ベンチマークで評価され、データカテゴリごとのアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 推論ステップの完全性、明確性、論理的順序は、複雑な推論タスクにおけるLLM性能にどのように影響するか？
• RQ2 進化戦略を用いた自動的なCoTプロンプト生成は、既存の手法よりも高品質な推論チェーンを生成できるか？
• RQ3 段階的議論は、多段階推論における累積誤差を顕著に低減するか？
• RQ4 多様で高品質なCoTデータセット上で微調整することで、複数のベンチマークにわたる推論一般化性能がどのように向上するか？
• RQ5 異なるデータカテゴリ（例：数学、論理、常識的知識）が、最終モデルの推論性能に与える相対的影響は何か？

主な発見

• CoTGeniusが生成したCoTプロンプトはベースライン手法を著しく上回り、ChainLMはGSM8Kで92.4%の正確度を達成し、ゼロショットベースライン比12.5%の絶対的向上を記録した。
• 推論の完全性と明確性を高めることで、明確なパフォーマンス向上が得られ、複雑な数学問題では5ステップのチェーンが2または3ステップのチェーンを上回った。
• 論理的順序（推論を答えの前に配置）は、逆順（答えを先に提示）と比較して、GSM8Kで15.3%のパフォーマンス向上をもたらした。
• 段階的議論メカニズムは、標準的なCoTと比較して累積誤差を28%低減し、特にマルチホップ推論タスクでの性能向上に寄与した。
• CoTGeniusが生成したデータセット上で微調整することで、ゼロショット一般化性能が向上し、ChainLMはAIMEおよびSVAMPの両方でベースLlama 2およびインstructチューニング済みベースラインを上回った。
• アブレーションスタディの結果、データの多様性と明確性が、単なるデータ量よりもより大きな影響を示し、明確性が複雑な推論におけるパフォーマンス向上の60%を占めた。