[论文解读] Feature Selection for Gender Classification in TUIK Life Satisfaction Survey

Adil Çoban, İlhan Tarımer|arXiv (Cornell University)|Jul 12, 2018

Psychological Well-being and Life Satisfaction参考文献 7被引用 3

一句话总结

本研究提出一种特征选择方法，以提升土耳其统计局（TÜİK）幸福调查中性别分类的性能，采用属性选择算法与机器学习模型。通过应用卡方检验（Chi2）、信息增益（Information Gain）和ReliefF算法对特征进行排序，最终使用随机森林（Random Forest）模型在仅选取三个特征的情况下达到最佳性能——73%的准确率。

ABSTRACT

As known, attribute selection is a method that is used before the classification of data mining. In this study, a new data set has been created by using attributes expressing overall satisfaction in Turkey Statistical Institute (TSI) Life Satisfaction Survey dataset. Attributes are sorted by Ranking search method using attribute selection algorithms in a data mining application. These selected attributes were subjected to a classification test with Naive Bayes and Random Forest from machine learning algorithms. The feature selection algorithms are compared according to the number of attributes selected and the classification accuracy rates achievable with them. In this study, which is aimed at reducing the dataset volume, the best classification result comes up with 3 attributes selected by the Chi2 algorithm. The best classification rate was 73% with the Random Forest classification algorithm.

研究动机与目标

• 在保持分类性能的前提下，降低TÜİK幸福调查数据集的维度。
• 评估多种特征选择算法（卡方检验、信息增益、ReliefF）在识别性别分类相关属性方面的有效性。
• 比较不同算法（朴素贝叶斯、随机森林）在使用选定特征时的分类准确率。
• 识别出最适合调查数据中性别预测的特征选择方法与分类器组合。

提出的方法

• 从TÜİK幸福调查中构建了一个新数据集，重点关注整体满意度相关属性。
• 应用三种属性选择算法——卡方检验（Chi2）、信息增益（Information Gain）和ReliefF——基于其与性别的相关性对特征进行排序。
• 将每种算法选出的最高等级特征作为输入，用于朴素贝叶斯和随机森林的分类任务。
• 以分类准确率为首要指标评估性能。
• 根据准确率和所用特征数量，选择表现最佳的特征子集。
• 通过比较特征数量与分类准确率之间的权衡，优化整个流程。

实验结果

研究问题

• RQ1 哪种特征选择算法（卡方检验、信息增益、ReliefF）能实现最高的性别分类准确率？
• RQ2 在该数据集中，实现高分类性能所需的最优特征数量是多少？
• RQ3 当使用选定特征训练时，分类模型（朴素贝叶斯与随机森林）的性能相较于完整特征集如何？
• RQ4 能否通过极少数特征维持高性别分类准确率，同时降低数据集复杂度？

主要发现

• 卡方检验（Chi2）特征选择算法表现最佳，仅使用三个选定特征即达到73%的准确率。
• 随机森林（Random Forest）优于朴素贝叶斯（Naive Bayes），在所有测试分类器中准确率最高。
• 卡方检验与随机森林的组合在特征数量与准确率之间实现了最佳平衡。
• 本研究证明，仅使用少量精心挑选的调查属性子集，即可实现性别分类。
• 所选特征数量显著影响性能，超过某一阈值后收益递减。
• 结果表明，属性选择可有效减少数据集规模，同时不损害分类质量。