[论文解读] Making Large Language Models Better Reasoners with Alignment

Peiyi Wang, Lei Li+6 more|arXiv (Cornell University)|Sep 5, 2023

Topic Modeling被引用 5

一句话总结

本文提出对齐微调（AFT），一种三步范式，通过解决评估错位问题（即模型未能将高质量思维链（COT）响应的得分排在低质量响应之上）来提升大语言模型的推理能力。AFT 使用一种新颖的约束对齐损失，确保高质量 COT 获得更高得分，同时将负向得分限制在合理下限，防止性能退化，显著提升各类推理基准测试的表现，包括多任务和分布外设置。

ABSTRACT

Reasoning is a cognitive process of using evidence to reach a sound conclusion. The reasoning capability is essential for large language models (LLMs) to serve as the brain of the artificial general intelligence agent. Recent studies reveal that fine-tuning LLMs on data with the chain of thought (COT) reasoning process can significantly enhance their reasoning capabilities. However, we find that the fine-tuned LLMs suffer from an extit{Assessment Misalignment} problem, i.e., they frequently assign higher scores to subpar COTs, leading to potential limitations in their reasoning abilities. To address this problem, we introduce an extit{Alignment Fine-Tuning (AFT)} paradigm, which involves three steps: 1) fine-tuning LLMs with COT training data; 2) generating multiple COT responses for each question, and categorizing them into positive and negative ones based on whether they achieve the correct answer; 3) calibrating the scores of positive and negative responses given by LLMs with a novel constraint alignment loss. Specifically, the constraint alignment loss has two objectives: a) Alignment, which guarantees that positive scores surpass negative scores to encourage answers with high-quality COTs; b) Constraint, which keeps the negative scores confined to a reasonable range to prevent the model degradation. Beyond just the binary positive and negative feedback, the constraint alignment loss can be seamlessly adapted to the ranking situations when ranking feedback is accessible. Furthermore, we also delve deeply into recent ranking-based alignment methods, such as DPO, RRHF, and PRO, and discover that the constraint, which has been overlooked by these approaches, is also crucial for their performance. Extensive experiments on four reasoning benchmarks with both binary and ranking feedback demonstrate the effectiveness of AFT.

研究动机与目标

• 识别并解决原始微调大语言模型中的评估错位问题，即模型无法区分高质量与低质量 COT 的差异。
• 提出一种三阶段对齐微调（AFT）范式，通过重新校准模型对 COT 质量的信心，提升推理能力。
• 证明对齐损失中的约束项对于防止模型性能退化并提升表现至关重要。
• 表明 AFT 通过引入有界得分约束，可增强基于二元反馈和排序反馈的对齐方法。
• 在域内、多任务及分布外推理场景中验证 AFT 的有效性。

提出的方法

• 使用标准最大似然估计在 COT 训练数据上微调大语言模型。
• 为每个问题生成多个 COT 响应，并将其分类为正样本（正确答案）或负样本（错误答案）。
• 应用一种新颖的约束对齐（CA）损失，强制正样本得分高于负样本得分（对齐），同时将负样本得分限制在合理下限（约束）。
• 该 CA 损失设计为可适配二元反馈与排序反馈设置，支持更广泛的应用。
• 边界约束使用超参数 β 调节负样本得分的下限，以平衡得分区分度与生成能力。
• 该方法与自一致性推理兼容，由于高质量 COT 获得更高得分，因此更可能被选中。

实验结果

研究问题

• RQ1 原始微调（VFT）是否会导致评估错位，即模型为低质量 COT 分配更高得分？
• RQ2 是否可通过感知约束的对齐损失，更好地区分高质量与低质量 COT，从而提升大语言模型的推理能力？
• RQ3 AFT 在推理基准测试中与标准 VFT 及其他对齐方法（如 DPO、RRHF 和 PRO）相比表现如何？
• RQ4 AFT 是否通过提高采样高质量 COT 路径的概率，增强自一致性？
• RQ5 AFT 是否能在多任务和分布外推理场景中提升性能？

主要发现

• AFT 在四个推理基准测试中显著提升推理性能，相较于 VFT，GSM8K 上提升最高达 2.29%，ECQA 上提升最高达 2.10%。
• 在 MMLU 基准测试（零样本、分布外）中，AFT 超过 VFT，表现出更强的泛化能力与迁移能力。
• AFT 提升了自一致性：随着采样 COT 路径数量增加，AFT 的性能增益显著高于 VFT，表明其能更优地选择高质量推理路径。
• 消融实验确认边界约束项（β）至关重要——当 β ≈ 0.3 时性能达到峰值，过大或过小的值均导致性能下降，凸显超参数精细调优的必要性。
• 该约束项对基于排序的对齐方法（如 DPO、RRHF 和 PRO）同样关键，若缺少此约束，其性能将显著下降。
• AFT 在多任务训练中保持优异表现，当在联合数据集上训练时，可同时提升所有评估测试集的性能。