[论文解读] Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs

Xuan Zhang, Chao Du+4 more|arXiv (Cornell University)|Jun 13, 2024

Business Process Modeling and Analysis被引用 6

一句话总结

CPO 使用来自 Tree-of-Thought 搜索的逐步偏好/非偏好思维对来微调大语言模型，以提升链式思考推理，并且比 ToT 的推理延迟大幅降低。

ABSTRACT

The recent development of chain-of-thought (CoT) decoding has enabled large language models (LLMs) to generate explicit logical reasoning paths for complex problem-solving. However, research indicates that these paths are not always deliberate and optimal. The tree-of-thought (ToT) method employs tree-searching to extensively explore the reasoning space and find better reasoning paths that CoT decoding might overlook. This deliberation, however, comes at the cost of significantly increased inference complexity. In this work, we demonstrate that fine-tuning LLMs leveraging the search tree constructed by ToT allows CoT to achieve similar or better performance, thereby avoiding the substantial inference burden. This is achieved through Chain of Preference Optimization (CPO), where LLMs are fine-tuned to align each step of the CoT reasoning paths with those of ToT using the inherent preference information in the tree-search process. Extensive experimental results show that CPO significantly improves LLM performance in solving a variety of complex problems, including question answering, fact verification, and arithmetic reasoning, demonstrating its effectiveness. Our code is available at https://github.com/sail-sg/CPO.

研究动机与目标

• 通过将 ToT 推导的偏好纳入最终路径之外，推动对链式思考推理的改进。
• 利用树搜索过程提取逐步的偏好信息以用于监督。
• 开发一个训练目标，直接在每一步优化偏好思维与不偏好的思维之比。
• 证明 CPO 在问答、事实核验和算术推理等任务上取得显著提升，且无需额外推理延迟。

提出的方法

• 通过在每一步生成多种思维，构建来自 ToT 搜索树的偏好思维链。
• 用大语言模型评估每个思维以分配进度分数，并通过广度优先搜索剪枝选择前 n 个思维。
• 通过在每一步将偏好思维与其不偏好同类的分支配对，创建逐步偏好数据。
• 用直接偏好优化（DPO）目标训练模型，以最大化偏好思维与不偏好思维之比的似然性。
• 在多个数据集和基模型上，使用 LoRA 微调的 LLM，将 CPO 与 CoT、ToT 及 TS-SFT 进行对比。

实验结果

研究问题

• RQ1 逐步偏好监督是否相较于全路径监督在改进链式思考推理方面具有优势？
• RQ2 CPO 是否能在显著降低推理延迟的情况下获得类似 ToT 的收益？
• RQ3 CPO 是否在不同推理任务（问答、事实核验、算术）和模型规模下具有鲁棒性？

主要发现

• CPO 在各任务和模型上的平均准确率提升为 4.3%，最大达到 9.7%。
• CPO 的性能与 ToT 相当甚至更好，同时推理延迟大幅下降（平均快 57.5 倍）。
• CPO 平均比 TS-SFT 高出 2.7%，在某些情况下最高达到 10.3%，原因在于同时利用偏好与不偏好思维。
• 逐步偏好数据有益；训练中增加不偏好数据的比例会持续提升性能。