[论文解读] GBHT: Gradient Boosting Histogram Transform for Density Estimation

Jingyi Cui, Hanyuan Hang+2 more|arXiv (Cornell University)|Jun 10, 2021

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出GBHT，一种用于密度估计的新型梯度提升算法，采用负对数似然作为损失函数，使无监督学习中的提升成为可能。通过结合随机直方图变换与迭代梯度提升，GBHT实现了比基线学习器更快的收敛速度，在Hölder空间$C^{0,\beta}$和$C^{1,\beta}$中具有理论保证，并在真实世界数据集的异常检测任务中表现出色。

ABSTRACT

In this paper, we propose a density estimation algorithm called extit{Gradient Boosting Histogram Transform} (GBHT), where we adopt the extit{Negative Log Likelihood} as the loss function to make the boosting procedure available for the unsupervised tasks. From a learning theory viewpoint, we first prove fast convergence rates for GBHT with the smoothness assumption that the underlying density function lies in the space $C^{0,α}$. Then when the target density function lies in spaces $C^{1,α}$, we present an upper bound for GBHT which is smaller than the lower bound of its corresponding base learner, in the sense of convergence rates. To the best of our knowledge, we make the first attempt to theoretically explain why boosting can enhance the performance of its base learners for density estimation problems. In experiments, we not only conduct performance comparisons with the widely used KDE, but also apply GBHT to anomaly detection to showcase a further application of GBHT.

研究动机与目标

• 开发一种基于提升的方法用于无监督密度估计，以弥补现有提升方法在该任务中理论基础不足的问题。
• 建立一个理论框架，解释为何提升能改善密度估计性能，特别是分析在Hölder空间中的收敛速率。
• 设计一种实用算法，结合随机直方图变换与梯度提升，以提升密度估计的准确性和平滑性。
• 通过与KDE的实证比较以及在真实数据集上的异常检测应用，验证GBHT的有效性。

提出的方法

• GBHT使用负对数似然作为损失函数，使无监督密度估计中的梯度提升成为可能。
• 在每次迭代中，应用随机直方图变换——包括随机旋转、缩放和平移——将输入空间划分为非重叠的单元。
• 在每个变换后的单元上学习分段常数密度估计器，构成基学习器。
• 通过梯度下降形式的提升算法，迭代优化以最小化经验负对数似然，从而改进密度估计。
• 训练完成后，通过反变换将划分后的空间恢复到原始输入空间，得到最终的密度估计。
• 引入Nesterov加速以提升提升过程中的收敛速度。

实验结果

研究问题

• RQ1 能否基于无监督损失函数，从理论上证明提升在密度估计中的合理性？
• RQ2 在Hölder空间$C^{0,\beta}$和$C^{1,\beta}$的光滑性假设下，GBHT的收敛速率如何？
• RQ3 GBHT在$C^{1,\beta}$空间中的收敛速率是否优于其基学习器？
• RQ4 GBHT在真实世界密度估计与异常检测任务中，与传统方法（如KDE）相比表现如何？
• RQ5 GBHT能否在下游任务（如异常检测）中有效应用，并取得具有竞争力的性能？

主要发现

• 在$C^{1,\beta}$空间中，GBHT实现了$O(n^{-2(1+\beta)/(4(1+\beta)+d)})$的快速收敛速率，优于基线直方图变换估计器的下界$O(n^{-2/(2+d)})$。
• 在$C^{0,\beta}$空间中，GBHT实现了$O(n^{-2\beta/(2\beta+d)})$的快速收敛速率，为该方法建立了理论一致性。
• 实证结果表明，GBHT在20个真实世界数据集的异常检测任务中优于KDE及其他基线方法，AUC得分在所有数据集中均位列前两名。
• 在20个数据集中的18个中，GBHT取得最佳或第二好的AUC，秩和为57，表明其整体性能优于iForest、k-NN、LOF和OCSVM。
• 该方法对数据维度和样本量变化具有鲁棒性，在高维和不平衡数据集上表现良好。
• Nesterov加速的引入提升了训练效率，且未损害估计精度。