[论文解读] Comparative Study of Instance Based Learning and Back Propagation for Classification Problems

Nadia Kanwal, Erkan Bostancı|arXiv (Cornell University)|Apr 19, 2016

Advanced Statistical Methods and Models参考文献 1被引用 3

一句话总结

本研究通过多个数据集和性能指标，比较了反向传播神经网络（BPNN）与基于实例的学习（IBL）在分类任务中的表现。结果表明，BPNN在最优参数调优下表现优于IBL，且多重插补法在处理缺失值方面优于均值/众数替换法，尽管其在小样本数据集中适用性较差。

ABSTRACT

The paper presents a comparative study of the performance of Back Propagation and Instance Based Learning Algorithm for classification tasks. The study is carried out by a series of experiments will all possible combinations of parameter values for the algorithms under evaluation. The algorithm's classification accuracy is compared over a range of datasets and measurements like Cross Validation, Kappa Statistics, Root Mean Squared Value and True Positive vs False Positive rate have been used to evaluate their performance. Along with performance comparison, techniques of handling missing values have also been compared that include Mean or Mode replacement and Multiple Imputation. The results showed that parameter adjustment plays vital role in improving an algorithm's accuracy and therefore, Back Propagation has shown better results as compared to Instance Based Learning. Furthermore, the problem of missing values was better handled by Multiple imputation method, however, not suitable for less amount of data.

研究动机与目标

• 评估并比较反向传播神经网络（BPNN）与基于实例的学习（IBL）算法的分类性能。
• 研究参数调优对BPNN与IBL在多种数据集上准确率的影响。
• 评估不同缺失值插补技术（均值/众数替换与多重插补）对分类性能的影响。
• 使用交叉验证、Kappa统计量、均方根误差（RMSE）以及真正/假正类率等多种指标分析性能。
• 确定多重插补法在分类任务中对小样本与大样本数据集的适用性。

提出的方法

• 针对BPNN与IBL的所有参数值组合进行实验，以评估其在多个数据集上的性能表现。
• 采用10折交叉验证评估模型的泛化能力与稳定性。
• 使用Kappa统计量衡量评分者间一致性及模型可靠性，超越简单准确率。
• 计算均方根误差（RMSE）以量化分类结果的预测误差。
• 通过真正类率（TPR）与假正类率（FPR）评估模型性能，以衡量敏感性与特异性。
• 实施两种缺失值处理方法：均值/众数替换与多重插补，比较其对模型准确率的影响。

实验结果

研究问题

• RQ1 在多种数据集上，反向传播神经网络与基于实例的学习在分类准确率方面有何差异？
• RQ2 参数调优在BPNN与IBL的分类任务中对性能的影响程度如何？
• RQ3 在分类结果方面，哪种缺失值插补方法——均值/众数替换或多重插补——表现更优？
• RQ4 在不同参数设置下，Kappa、RMSE、TPR与FPR等性能指标在BPNN与IBL之间如何变化？
• RQ5 在分类建模背景下，多重插补法在大样本数据集中是否比小样本数据集更有效？

主要发现

• 反向传播神经网络在参数最优调优时，表现出优于基于实例的学习的分类准确率，尤其在复杂数据集中。
• 参数调整在提升两种算法性能方面起着关键作用，且BPNN从调优中获益更为显著。
• 在大样本数据集中，多重插补法在处理缺失值方面优于均值或众数替换，带来更稳健的分类结果。
• 多重插补法在小样本数据集中效果较差，表明其性能对数据量存在依赖性。
• Kappa统计量与RMSE值进一步证实，BPNN在所有测试配置中均表现出更高的可靠性与更低的误差率。
• 真正类率与假正类率表明，BPNN在复杂数据集中能更好地平衡敏感性与特异性。