[论文解读] An Infra-Structure for Performance Estimation and Experimental Comparison of Predictive Models in R

Luı́s Torgo|arXiv (Cornell University)|Dec 1, 2014

Imbalanced Data Classification Techniques参考文献 3被引用 38

一句话总结

本论文介绍了 R 包 performanceEstimation，这是一个灵活的基础设施，用于估计和比较分类、回归及时间序列任务中的预测性能。它使用户能够使用多种重采样方法（例如，交叉验证、自助法）评估自定义或标准工作流程，并提供统计检验、可视化及并行计算支持，关键结果包括在基准任务上对 SVM 变体的性能度量。

ABSTRACT

This document describes an infra-structure provided by the R package performanceEstimation that allows to estimate the predictive performance of different approaches (workflows) to predictive tasks. The infra-structure is generic in the sense that it can be used to estimate the values of any performance metrics, for any workflow on different predictive tasks, namely, classification, regression and time series tasks. The package also includes several standard workflows that allow users to easily set up their experiments limiting the amount of work and information they need to provide. The overall goal of the infra-structure provided by our package is to facilitate the task of estimating the predictive performance of different modeling approaches to predictive tasks in the R environment.

研究动机与目标

• 为在 R 中估计和比较不同建模工作流程的预测性能提供一个通用基础设施。
• 通过提供预构建的标准工作流程和可重用的数据预处理/后处理步骤，减少用户工作量。
• 支持广泛的性能估计方法，包括 k 折交叉验证、自助法以及时间序列的蒙特卡洛实验。
• 通过最先进的方法（如 Nemenyi 检验和 Bonferroni-Dunn 检验）实现性能差异的统计显著性检验。
• 通过结构化的结果对象和用于汇总与可视化的工具函数，促进可重复的实验比较。

提出的方法

• 该包定义了一个标准化的工作流程接口：用户提供的函数接收训练/测试数据和参数，并返回测试集的预测结果。
• 通过迭代重采样进行性能估计：对每个折或样本，训练一个模型并在测试集上进行评估。
• 该基础设施支持多种估计技术：k 折交叉验证、保留采样、留一法、自助法（含 .631 和 ε₀ 变体）以及时间序列的蒙特卡洛方法。
• 用户可通过实现工作流程函数，插入任意建模方法，从而评估自定义或现有的 R 包（例如，SVM 变体）。
• 系统聚合各次迭代的结果，并使用内置或用户定义的函数计算性能度量（例如，MSE、MAE）。
• 它包含用于结果探索、汇总统计、可视化（例如，CD 图）以及并行执行的工具函数，以提升可扩展性。

实验结果

研究问题

• RQ1 研究人员如何在 R 中高效比较不同建模工作流程在多样化预测任务中的预测性能？
• RQ2 在最小化用户负担的前提下，使用重采样技术估计性能的最有效方法是什么？
• RQ3 在比较实验中，如何严格评估模型间性能差异的统计显著性？
• RQ4 该基础设施在统一实验框架中，能在多大程度上支持自定义工作流程、预处理和后处理步骤？
• RQ5 并行计算的集成在多大规模模型比较中如何提升性能估计的可扩展性？

主要发现

• performanceEstimation 包通过统一接口，实现了在分类、回归和时间序列任务中的一致且可重现的性能估计。
• 在任务 'a3' 上，SVM.v7 工作流程的平均 MSE 为 304.24，标准差为 144.76，表明在重采样迭代中性能存在中等程度的变异性。
• SVM.v6 工作流程在任务 'a3' 上的 30 次迭代中实现了最高的平均 MSE（396.16），标准差为 287.61，表明预测结果具有较高方差。
• 该包成功支持模型的统计比较，包括事后检验（如 Nemenyi 和 Bonferroni-Dunn 检验），并使用 CD 图可视化显著差异。
• metricsSummary 函数允许用户对工作流程和任务计算自定义聚合（例如，中位数），SVM.v7 在任务 'a1' 上的中位数 MSE 为 271.52。
• 该包通过并行计算支持可扩展的实验，显著缩短大规模模型比较的运行时间。