[论文解读] Machine Learning Pipeline for Pulsar Star Dataset

Alexander Ylnner Choquenaira Florez, Braulio V. Sánchez Vinces+3 more|arXiv (Cornell University)|May 3, 2020

GNSS positioning and interference参考文献 13被引用 4

一句话总结

本研究在HTRU2脉冲星数据集上评估了多种机器学习算法，该数据集为一个高度不平衡的天文物体数据集，包含约17,000个实例，采用交叉验证和类别采样技术。尽管存在噪声和类别不平衡问题，XGBoost和随机森林等模型在少数类脉冲星（标签1）上的F1得分仍超过97%，表明当使用适当的平衡方法并结合类别特定指标进行评估时，标准机器学习流程可有效识别脉冲星。

ABSTRACT

This work brings together some of the most common machine learning (ML) algorithms, and the objective is to make a comparison at the level of obtained results from a set of unbalanced data. This dataset is composed of almost 17 thousand observations made to astronomical objects to identify pulsars (HTRU2). The methodological proposal based on evaluating the accuracy of these different models on the same database treated with two different strategies for unbalanced data. The results show that in spite of the noise and unbalance of classes present in this type of data, it is possible to apply them on standard ML algorithms and obtain promising accuracy ratios.

研究动机与目标

• 评估多种监督机器学习算法在类别不平衡的HTRU2脉冲星数据集上的性能。
• 研究数据采样策略（欠采样与过采样）对少数类（脉冲星）检测性能的影响。
• 确定标准机器学习算法是否能在无需深度学习的情况下，对具有噪声和不平衡特性的天文数据实现高准确率和F1得分。
• 识别在真实天文应用中用于脉冲星分类的最有效模型与预处理流程。

提出的方法

• 本研究采用结构化流程：数据分析、预处理、采样及使用五折交叉验证（k=5）进行模型训练。
• 通过欠采样（减少多数类0）和过采样（增加少数类1）解决类别不平衡问题，其中在数据集3中应用了合成少数类过采样技术（SMOTE）。
• 评估了13种不同的分类器，包括逻辑回归、决策树、XGBoost、随机森林、SVM变体、朴素贝叶斯、感知机、多层感知机以及集成方法（Bagging、梯度提升、堆叠）。
• 性能评估指标包括准确率、精确率、召回率和F1得分，特别关注少数类（脉冲星=1）的F1得分。
• 在三个数据集上进行实验：原始数据集（数据集1）、欠采样数据集（数据集2）和过采样数据集（数据集3），以比较不同采样策略的影响。
• 使用分类报告和统计摘要（均值±标准偏差）比较所有配置下的模型性能。

实验结果

研究问题

• RQ1 HTRU2数据集中的类别不平衡是否显著降低标准机器学习模型在脉冲星检测任务中的性能？
• RQ2 欠采样与过采样策略如何影响机器学习模型在脉冲星分类任务中的精确率、召回率和F1得分？
• RQ3 在不同采样配置下，哪种机器学习算法在少数脉冲星类（标签1）上实现了最高的F1得分？
• RQ4 当应用适当的采样和交叉验证时，传统机器学习模型是否能在该数据集上超越深度学习方法？

主要发现

• XGBoost和随机森林在少数类（脉冲星=1）上取得了最高的F1得分，分别在过采样数据集（数据集3）上达到0.97和0.96。
• 表现最佳的模型XGBoost在数据集3上实现了0.98的精确率和0.83的召回率，使少数类的F1得分达到0.90。
• 未使用采样时，逻辑回归和决策树等模型虽然准确率较高（>97%），但脉冲星类别的召回率较低（最低达0.72），表明对多数类存在显著偏差。
• 与原始数据集（数据集1）相比，过采样（数据集3）在所有模型中均一致提升了少数类的F1得分，证实了该任务中类别平衡的必要性。
• 集成方法如Bagging和堆叠表现出色，其中堆叠在数据集3上实现了0.96的F1得分，凸显了模型平均的优势。
• 在实验2中使用特征选择后，少数类的F1得分略有提升，XGBoost在数据集3上达到0.95的F1得分，表明特征工程可进一步提升性能。