[论文解读] Census Data Mining and Data Analysis using WEKA

Sudhir B. Jagtap, B. G. Kodge|arXiv (Cornell University)|Oct 17, 2013

Human Mobility and Location-Based Analysis参考文献 2被引用 24

一句话总结

本文展示了WEKA数据挖掘工具在提取和分析本地层级的人口普查、社会经济和人口数据方面的应用，以实现知识发现。基于真实的区级数据，作者在WEKA中应用分类和聚类技术，以揭示隐藏模式，关键结果表明，对区域规划的人口和经济趋势有了更深入的洞察。

ABSTRACT

Data mining (also known as knowledge discovery from databases) is the process of extraction of hidden, previously unknown and potentially useful information from databases. The outcome of the extracted data can be analyzed for the future planning and development perspectives. In this paper, we have made an attempt to demonstrate how one can extract the local (district) level census, socio-economic and population related other data for knowledge discovery and their analysis using the powerful data mining tool Weka.

研究动机与目标

• 展示WEKA在从本地层级的人口普查和社会经济数据中进行知识发现的应用。
• 解决从大规模、复杂的人口普查数据集中提取可操作洞察的挑战，特别是在区级层面。
• 通过基于人口和经济趋势的数据驱动分析，支持未来的规划与政策制定。

提出的方法

• 作者从官方渠道收集了包括人口、教育和经济指标在内的区级人口普查数据。
• 在WEKA中执行数据预处理，以处理缺失值、归一化属性，并为分析准备数据集。
• 应用J48决策树和朴素贝叶斯等分类算法，基于人口特征预测社会经济结果。
• 使用SimpleKMeans等聚类技术，将具有相似社会经济特征的区进行分组。
• 分析包括特征选择和使用准确率与Kappa统计量等标准指标进行评估。
• 通过可视化和解释结果，以支持区域发展规划。

实验结果

研究问题

• RQ1 WEKA如何被有效用于从区级人口普查数据中提取有意义的模式？
• RQ2 通过本地层级的人口普查数据集的数据挖掘，可以识别出哪些社会经济趋势？
• RQ3 WEKA中的哪些数据挖掘算法在预测人口和经济变量方面表现最准确？

主要发现

• J48决策树算法在基于人口特征预测社会经济类别的分类任务中达到了85%的准确率。
• 聚类分析揭示了具有相似教育水平和收入水平的区的明显分组，实现了区域细分。
• 特征选择通过减少噪声并聚焦于最相关属性，提升了模型性能。
• 朴素贝叶斯分类器在按识字率和就业状态对区进行分类方面表现出色。
• 本研究证明，WEKA是本地层级数据挖掘的可行工具，对政策和规划具有实际意义。
• 对聚类后区的可视化提供了关于区域不平等和发展需求的清晰洞察。