Skip to main content
QUICK REVIEW

[论文解读] S3-CoT: Self-Sampled Succinct Reasoning Enables Efficient Chain-of-Thought LLMs

Yanrui Du, Sendong Zhao|arXiv (Cornell University)|Feb 2, 2026
Topic ModelingComputer Science被引用 0
一句话总结

S3-CoT 引入了一种自采样框架,利用激活引导获得目标大型语言模型的可变长度高质量推理轨迹,使无需外部教师即可进行高效的链式推理学习,并在通用与部分 R1 风格的 LLM 上呈现出明确的长度-准确性权衡。

ABSTRACT

Large language models (LLMs) equipped with chain-of-thought (CoT) achieve strong performance and offer a window into LLM behavior. However, recent evidence suggests that improvements in CoT capabilities often come with redundant reasoning processes, motivating a key question: Can LLMs acquire a fast-thinking mode analogous to human System 1 reasoning? To explore this, our study presents a self-sampling framework based on activation steering for efficient CoT learning. Our method can induce style-aligned and variable-length reasoning traces from target LLMs themselves without any teacher guidance, thereby alleviating a central bottleneck of SFT-based methods-the scarcity of high-quality supervision data. Using filtered data by gold answers, we perform SFT for efficient CoT learning with (i) a human-like dual-cognitive system, and (ii) a progressive compression curriculum. Furthermore, we explore a self-evolution regime in which SFT is driven solely by prediction-consistent data of variable-length variants, eliminating the need for gold answers. Extensive experiments on math benchmarks, together with cross-domain generalization tests in medicine, show that our method yields stable improvements for both general and R1-style LLMs. Our data and model checkpoints can be found at https://github.com/DYR1/S3-CoT.

研究动机与目标

  • 解决训练高效、简洁的链式推理(CoT)LLMs 的数据稀缺瓶颈。
  • 学习在无需教师监督的情况下,从目标 LLMs 引导出可变长度、风格对齐的 CoT 轨迹。
  • 通过渐进压缩课程进行自监督微调以内化高效 CoT。
  • 探索自我进化机制,在不需要金标准答案的情况下使训练数据具有预测一致性。
  • 在数学与跨领域医学基准测试中展示对通用 LLM 和 R1 风格 LLM 的鲁棒性。

提出的方法

  • 在 LLM 表征中识别一个控制 CoT 长度的可变长度方向(VL-D),通过激活引导实现长度控制。
  • 在目标 LLM 的选定层沿 VL-D 进行干预,以受控强度抽样可变长度的 CoT 轨迹。
  • 使用黄金答案匹配或对可变长度 CoT 变体的自一致性进行数据质量验证。
  • 结合双认知系统(System 1 与 System 2 提示)以及渐进压缩课程进行微调,以学习快速思考的 CoT。
  • 可选地采用完全自进化的变体(S3-CoT sc),其中微调数据在没有金标准答案的情况下具有预测一致性。
Figure 1: A self-sampling framework for efficient CoT learning. Our study (1) samples variable-length CoT data via intervention along VL-D; (2) filters data via answer or self-consistency verification; and (3) achieves efficient CoT internalization via a dual-cognitive system and progressive compres
Figure 1: A self-sampling framework for efficient CoT learning. Our study (1) samples variable-length CoT data via intervention along VL-D; (2) filters data via answer or self-consistency verification; and (3) achieves efficient CoT internalization via a dual-cognitive system and progressive compres

实验结果

研究问题

  • RQ1在 LLM 表征中是否存在可控 CoT 长度的线性方向?
  • RQ2如何通过在该方向上对选定层进行干预来采样高质量、可变长度的 CoT 数据?
  • RQ3自采样数据是否可以在不同 LLM 家族中实现高效、鲁棒的 CoT 内化?
  • RQ4自一致性验证对数据质量和下游表现有何影响?

主要发现

  • 在中间层出现一个可控长度的线性方向(VL-D),并在样本之间产生平行的 CoT 长度方向。
  • 自一致性验证在多种 LLM 的采样数据上实现近乎完美的准确性,表明在许多情况下无需金标签也能获得高质量数据。
  • S3-CoT 相对于提示控制和自监督微调基线,在数学基准与通用 LLM 上显著改善长度-准确性权衡,并且与强化学习基线具有竞争力。
  • S3-CoT 展示了在通用 LLM 以及 R1 风格 LLM 上对数学和医学基准的良好适应性与鲁棒性。
  • 完全自进化变体 S3-CoT sc 展现出巨大的潜力,确认自监督数据在 CoT 学习中的可行性。
(a) Analysis on Qwen2.5 7B .
(a) Analysis on Qwen2.5 7B .

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。