[论文解读] S3-CoT: Self-Sampled Succinct Reasoning Enables Efficient Chain-of-Thought LLMs
S3-CoT 引入了一种自采样框架,利用激活引导获得目标大型语言模型的可变长度高质量推理轨迹,使无需外部教师即可进行高效的链式推理学习,并在通用与部分 R1 风格的 LLM 上呈现出明确的长度-准确性权衡。
Large language models (LLMs) equipped with chain-of-thought (CoT) achieve strong performance and offer a window into LLM behavior. However, recent evidence suggests that improvements in CoT capabilities often come with redundant reasoning processes, motivating a key question: Can LLMs acquire a fast-thinking mode analogous to human System 1 reasoning? To explore this, our study presents a self-sampling framework based on activation steering for efficient CoT learning. Our method can induce style-aligned and variable-length reasoning traces from target LLMs themselves without any teacher guidance, thereby alleviating a central bottleneck of SFT-based methods-the scarcity of high-quality supervision data. Using filtered data by gold answers, we perform SFT for efficient CoT learning with (i) a human-like dual-cognitive system, and (ii) a progressive compression curriculum. Furthermore, we explore a self-evolution regime in which SFT is driven solely by prediction-consistent data of variable-length variants, eliminating the need for gold answers. Extensive experiments on math benchmarks, together with cross-domain generalization tests in medicine, show that our method yields stable improvements for both general and R1-style LLMs. Our data and model checkpoints can be found at https://github.com/DYR1/S3-CoT.
研究动机与目标
- 解决训练高效、简洁的链式推理(CoT)LLMs 的数据稀缺瓶颈。
- 学习在无需教师监督的情况下,从目标 LLMs 引导出可变长度、风格对齐的 CoT 轨迹。
- 通过渐进压缩课程进行自监督微调以内化高效 CoT。
- 探索自我进化机制,在不需要金标准答案的情况下使训练数据具有预测一致性。
- 在数学与跨领域医学基准测试中展示对通用 LLM 和 R1 风格 LLM 的鲁棒性。
提出的方法
- 在 LLM 表征中识别一个控制 CoT 长度的可变长度方向(VL-D),通过激活引导实现长度控制。
- 在目标 LLM 的选定层沿 VL-D 进行干预,以受控强度抽样可变长度的 CoT 轨迹。
- 使用黄金答案匹配或对可变长度 CoT 变体的自一致性进行数据质量验证。
- 结合双认知系统(System 1 与 System 2 提示)以及渐进压缩课程进行微调,以学习快速思考的 CoT。
- 可选地采用完全自进化的变体(S3-CoT sc),其中微调数据在没有金标准答案的情况下具有预测一致性。

实验结果
研究问题
- RQ1在 LLM 表征中是否存在可控 CoT 长度的线性方向?
- RQ2如何通过在该方向上对选定层进行干预来采样高质量、可变长度的 CoT 数据?
- RQ3自采样数据是否可以在不同 LLM 家族中实现高效、鲁棒的 CoT 内化?
- RQ4自一致性验证对数据质量和下游表现有何影响?
主要发现
- 在中间层出现一个可控长度的线性方向(VL-D),并在样本之间产生平行的 CoT 长度方向。
- 自一致性验证在多种 LLM 的采样数据上实现近乎完美的准确性,表明在许多情况下无需金标签也能获得高质量数据。
- S3-CoT 相对于提示控制和自监督微调基线,在数学基准与通用 LLM 上显著改善长度-准确性权衡,并且与强化学习基线具有竞争力。
- S3-CoT 展示了在通用 LLM 以及 R1 风格 LLM 上对数学和医学基准的良好适应性与鲁棒性。
- 完全自进化变体 S3-CoT sc 展现出巨大的潜力,确认自监督数据在 CoT 学习中的可行性。

阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。