[论文解读] Fighting biases with dynamic boosting.

Anna Veronika Dorogush, Andrey Gulin+4 more|arXiv (Cornell University)|Jun 28, 2017

Anomaly Detection Techniques and Applications参考文献 9被引用 45

一句话总结

本文提出了CatBoost，一种梯度提升框架，通过两项关键技术创新来解决目标泄漏问题：有序提升（ordered boosting），利用排列减少训练数据泄漏；以及一种新颖的类别特征编码方法。这些技术显著提升了模型的泛化能力，并在多种数据集上优于现有的提升工具。

ABSTRACT

This paper presents the key algorithmic techniques behind CatBoost, a new gradient boosting toolkit. Their combination leads to CatBoost outperforming other publicly available boosting implementations in terms of quality on a variety of datasets. Two critical algorithmic advances introduced in CatBoost are the implementation of ordered boosting, a permutation-driven alternative to the classic algorithm, and an innovative algorithm for processing categorical features. Both techniques were created to fight a prediction shift caused by a special kind of target leakage present in all currently existing implementations of gradient boosting algorithms. In this paper, we provide a detailed analysis of this problem and demonstrate that proposed algorithms solve it effectively, leading to excellent empirical results.

研究动机与目标

• 解决梯度提升中的目标泄漏问题，这是导致预测偏移和泛化能力下降的关键问题。
• 通过用基于排列的方法替代传统训练流程，开发一种稳健的标准化提升替代方案。
• 设计一种有效的算法，用于编码类别特征，同时避免引入偏差或泄漏。
• 通过实证验证，所提出的技术是否能在广泛的数据集中提升模型性能。

提出的方法

• 通过排列训练数据并仅使用排列中靠前位置的数据来计算梯度，实现有序提升，从而在训练过程中防止数据泄漏。
• 提出一种新颖的类别特征编码方法，利用有序子集中的目标统计量来表示类别，减少过拟合。
• 在提升过程中动态调整数据点的顺序，以确保每个弱学习器都基于目标统计量的无偏估计进行训练。
• 将这些技术整合到可扩展的梯度提升流程中，实现在大规模数据集上的高效训练。
• 确保预测结果不受训练序列中未来数据点的影响，从而降低数据泄漏风险。

实验结果

研究问题

• RQ1 如何系统性地减少梯度提升中的目标泄漏，以提升模型泛化能力？
• RQ2 基于排列的训练流程是否能有效替代标准提升方法，从而消除数据泄漏？
• RQ3 如何对类别特征进行编码，以在保留预测能力的同时避免偏差？
• RQ4 与现有提升框架相比，这些算法改进在多大程度上提升了性能？

主要发现

• 在多种基准数据集上，CatBoost在预测准确性方面优于其他公开可用的梯度提升实现。
• 使用有序提升显著减少了由目标泄漏引起的数据预测偏移，使模型更加稳定可靠。
• 所提出的类别特征编码方法通过最小化高基数类别变量的过拟合，实现了更优性能。
• 实证结果表明，有序提升与类别编码的结合在多种数据类型和规模下均带来了持续的性能提升。