[论文解读] BinaryPPO: Efficient Policy Optimization for Binary Classification

Punya Syon Pandey, Zhijing Jin|arXiv (Cornell University)|Feb 2, 2026

Artificial Intelligence in Healthcare and Education被引用 0

一句话总结

BinaryPPO 将二分类问题重新表述为离线强化学习问题，使用置信度加权奖励，在八个领域基准上实现对有监督基线的大幅准确度提升。

ABSTRACT

Supervised fine-tuning (SFT) is the standard approach for binary classification tasks such as toxicity detection, factuality verification, and causal inference. However, SFT often performs poorly in real-world settings with label noise, class imbalance, or sparse supervision. We introduce BinaryPPO, an offline reinforcement learning large language model (LLM) framework that reformulates binary classification as a reward maximization problem. Our method leverages a variant of Proximal Policy Optimization (PPO) with a confidence-weighted reward function that penalizes uncertain or incorrect predictions, enabling the model to learn robust decision policies from static datasets without online interaction. Across eight domain-specific benchmarks and multiple models with differing architectures, BinaryPPO improves accuracy by 40-60 percentage points, reaching up to 99%, substantially outperforming supervised baselines. We provide an in-depth analysis of the role of reward shaping, advantage scaling, and policy stability in enabling this improvement. Overall, we demonstrate that confidence-based reward design provides a robust alternative to SFT for binary classification. Our code is available at https://github.com/psyonp/BinaryPPO.

研究动机与目标

• 动机：在二分类任务中，监督微调对标签噪声、类别不平衡和稀疏监督存在挑战。
• 目标：通过最大化编码模型置信度和正确性的奖励信号，学习鲁棒的二元决策策略。
• 范围：在横跨毒性检测、事实性和因果推理的八个领域基准上评估，涵盖多种模型架构。
• 主张：置信度加权的奖励设计使得离线策略优化具备鲁棒性，无需在线交互。

提出的方法

• 将二分类重新表述为在不确定性下的决策问题，并通过PPO变体进行优化。
• 定义一个概率奖励 r(x,a,y)，通过 f(π_old(a|x)) 调整模型置信度，并结合正确性信号 s(a,y)。
• 使用值网络 V_φ(x) 计算优势 A(x,a,y)=r(x,a,y)−V_φ(x)。
• 优化包含PPO损失、值损失、带监督的交叉熵正则化以及熵正则化的联合目标，以鼓励探索。
• 引入熵正则化和等数据采样消融实验以研究稳定性和泛化。
• 提供适用于现有数据集的离线训练框架，无需在线反馈。

实验结果

研究问题

• RQ1 置信度加权的离线强化学习是否能在二分类任务上相较标准有监督微调和PPO基线提升准确度？
• RQ2 奖励 shaping、优势缩放和策略稳定性如何影响跨领域的学习与泛化？
• RQ3 BinaryPPO 在提高任务准确度的同时，是否能保持规范的安全性与公平性？
• RQ4 方法在分布变化和跨领域泛化（OOD 情况）以及不同模型架构下的鲁棒性如何？

主要发现

• BinaryPPO 在八个基准上对有监督基线实现了大幅准确度提升（可达数十个百分点）。
• 在 Qwen-2.5-3B 与 Gemma-2-2B 上，BinaryPPO 在多项任务上实现接近饱和的准确度（约 98–99%）。
• 熵正则化对稳定性至关重要；去除它会导致性能剧烈崩溃，而等数据采样虽有提升但未达到完全的 BinaryPPO。
• BinaryPPO 在因果与 moderation 任务上展现出分布外泛化，表明可迁移的决策边界跨模型。
• 规范性评估显示 BinaryPPO 在很大程度上保持对毒性抵抗性和真实度，数据集特定的回退较少。
• 训练动态表明策略熵和 KL 发散在早期就趋于稳定，指向稳健的收敛性。