[论文解读] KNN Ensembles for Tweedie Regression: The Power of Multiscale Neighborhoods

Colleen Farrelly|arXiv (Cornell University)|Jul 29, 2017

Topological and Geometric Data Analysis参考文献 40被引用 5

一句话总结

本文提出了一种KNN集成方法，通过改变k值并结合袋装特征与样本，利用多尺度邻域进行Tweedie回归。结果表明，通过改变k值可显著提升预测性能，优于仅袋装特征或样本的方法，在模拟数据和真实数据集上，尤其在高维设置下，其性能显著优于标准KNN和当前最先进的模型。

ABSTRACT

Very few K-nearest-neighbor (KNN) ensembles exist, despite the efficacy of this approach in regression, classification, and outlier detection. Those that do exist focus on bagging features, rather than varying k or bagging observations; it is unknown whether varying k or bagging observations can improve prediction. Given recent studies from topological data analysis, varying k may function like multiscale topological methods, providing stability and better prediction, as well as increased ensemble diversity. This paper explores 7 KNN ensemble algorithms combining bagged features, bagged observations, and varied k to understand how each of these contribute to model fit. Specifically, these algorithms are tested on Tweedie regression problems through simulations and 6 real datasets; results are compared to state-of-the-art machine learning models including extreme learning machines, random forest, boosted regression, and Morse-Smale regression. Results on simulations suggest gains from varying k above and beyond bagging features or samples, as well as the robustness of KNN ensembles to the curse of dimensionality. KNN regression ensembles perform favorably against state-of-the-art algorithms and dramatically improve performance over KNN regression. Further, real dataset results suggest varying k is a good strategy in general (particularly for difficult Tweedie regression problems) and that KNN regression ensembles often outperform state-of-the-art methods. These results for k-varying ensembles echo recent theoretical results in topological data analysis, where multidimensional filter functions and multiscale coverings provide stability and performance gains over single-dimensional filters and single-scale covering. This opens up the possibility of leveraging multiscale neighborhoods and multiple measures of local geometry in ensemble methods.

研究动机与目标

• 研究在KNN集成中改变k值、袋装特征和袋装观测值的影响，以实现Tweedie回归。
• 评估受拓扑数据分析启发的多尺度邻域方法是否能提升模型稳定性和预测准确性。
• 将KNN集成变体与真实和模拟Tweedie回归问题中的当前最先进的机器学习模型进行性能比较。
• 评估KNN集成在高维设置下对维度灾难的鲁棒性。

提出的方法

• 开发了七种KNN集成算法，结合袋装特征、袋装观测值以及在多次运行中变化k值。
• 每个集成通过多个具有不同k值或自助样本的KNN模型的投票或平均策略进行预测。
• 通过系统性地在一系列k值范围内变化k值，实现多尺度邻域，模拟多尺度拓扑分析。
• 通过特征袋装、观测袋装和k值变化策略的组合，增强模型多样性。
• 使用均方误差和偏差等指标，在Tweedie回归任务上训练和评估模型。
• 通过模拟和六个真实世界数据集验证该方法，与极限学习机、随机森林、提升回归和Morse-Smale回归进行比较。

实验结果

研究问题

• RQ1 在KNN集成中改变k值是否能带来优于固定k值或标准袋装技术的预测性能？
• RQ2 袋装特征、袋装观测值和k值变化的组合在Tweedie回归中如何提升模型拟合度和鲁棒性？
• RQ3 KNN集成中的多尺度邻域策略是否能提升性能和稳定性，特别是在高维或复杂数据设置下？
• RQ4 KNN集成模型与随机森林和极限学习机等当前最先进的算法在Tweedie回归任务中的表现如何比较？
• RQ5 k值变化集成的性能增益是否在多样化的现实世界数据集和模拟场景中均保持稳健？

主要发现

• 在KNN集成中改变k值可显著提升性能，优于固定k值KNN以及仅袋装特征或观测值的集成。
• KNN集成模型优于标准KNN回归，并在与随机森林和极限学习机等当前最先进模型的比较中表现具有竞争力或更优。
• 所提出的集成模型对维度灾难表现出鲁棒性，在高维数据设置下仍能保持强劲性能。
• 真实数据集的结果表明，k值变化的集成在困难的Tweedie回归问题中尤为有效，通常超越当前最先进方法。
• 性能增益与拓扑数据分析的理论见解一致，支持在集成学习中使用多尺度邻域和多种局部几何度量。
• 研究证实，将k值变化策略与袋装结合可增强多样性与预测准确性，验证了多尺度邻域方法作为强大框架的有效性。