[论文解读] Reliable Evaluation of Neural Network for Multiclass Classification of Real-world Data

S Inamadar Dinesh, Tirtharaj Dash|arXiv (Cornell University)|Nov 30, 2016

Neural Networks and Applications参考文献 5被引用 5

一句话总结

本文使用多种性能度量（超越准确率）评估多分类神经网络分类器，表明在数据分布偏斜的真实世界数据集中，预测准确率不可靠。研究显示，微平均与宏平均的精确率、召回率和F1分数提供了更稳健的评估，尤其在类别不平衡存在时。

ABSTRACT

This paper presents a systematic evaluation of Neural Network (NN) for classification of real-world data. In the field of machine learning, it is often seen that a single parameter that is 'predictive accuracy' is being used for evaluating the performance of a classifier model. However, this parameter might not be considered reliable given a dataset with very high level of skewness. To demonstrate such behavior, seven different types of datasets have been used to evaluate a Multilayer Perceptron (MLP) using twelve(12) different parameters which include micro- and macro-level estimation. In the present study, the most common problem of prediction called 'multiclass' classification has been considered. The results that are obtained for different parameters for each of the dataset could demonstrate interesting findings to support the usability of these set of performance evaluation parameters.

研究动机与目标

• 解决在多分类神经网络性能评估中过度依赖预测准确率作为唯一指标的问题。
• 调查各种性能度量（尤其是微平均与宏平均度量）在真实世界偏斜数据集上的可靠性。
• 证明高准确率可能掩盖少数类上的差表现，尤其是在类别不平衡的数据集中。
• 提供一个系统化的评估框架，通过多种互补度量对神经网络进行评估，以确保模型评估的稳健性。

提出的方法

• 在七个具有不同类别偏斜程度的真实世界数据集上评估多层感知机（MLP）。
• 使用十二种性能度量，包括微平均与宏平均的精确率、召回率、F1分数和特异性，以评估模型在不同类别分布下的行为。
• 通过调整隐藏神经元数量（60、80、100）训练MLP，以分析模型架构复杂度对性能度量的影响。
• 在微平均和宏平均层面计算标准分类度量（准确率、精确率、召回率、F1分数），以检测类别特定的性能失衡。
• 在不同数据集间比较结果，以识别在不同偏斜条件下度量可靠性的模式。
• 使用混淆矩阵和标准评估公式（如F1分数、精确率、召回率），其多分类扩展形式源自Sokolova和Lapalme（2009）的定义。

实验结果

研究问题

• RQ1 当数据集高度偏斜时，预测准确率是否仍是评估多分类神经网络性能的可靠度量？
• RQ2 微平均与宏平均性能度量与准确率相比，在检测类别不平衡数据集中的模型可靠性方面表现如何？
• RQ3 增加MLP中的隐藏神经元数量是否能一致地提升所有评估度量的性能？
• RQ4 精确率、召回率和F1分数在多大程度上揭示了准确率单独无法捕捉到的类别特定性能问题？
• RQ5 在具有固有类别不平衡的真实世界多分类数据集中，哪些性能度量对神经网络评估最具鲁棒性？

主要发现

• 在Abalone数据集中，尽管预测准确率较高（约92%），但其精确率和F1分数不可靠，表明少数类表现差。
• 在Abalone、E-coli和Glass数据集中，仅依赖准确率具有误导性，因为微平均与宏平均度量揭示了特定类别上的显著性能下降。
• 在Breast Cancer数据集中，随着隐藏神经元数量增加，所有度量均持续改善，表明在此类别偏斜程度较低的数据集中，准确率是可靠的指标。
• 在Iris数据集中，80个隐藏神经元时达到最优性能，微平均与宏平均精确率和召回率均表现更优，凸显了度量多样性的重要性。
• 在Wine数据集中，随着隐藏神经元数量增加，所有度量均稳步提升，表明由于类别分布均衡，准确率在此情况下是合理的代理指标。
• 研究发现梯度下降并不总能收敛到最优权重集合，且初始随机权重显著影响结果，表明模型性能在不同运行间存在变异性。