[论文解读] A Survey of Classification Techniques in the Area of Big Data

Praful Koturwar, Sheetal Girase+1 more|arXiv (Cornell University)|Mar 25, 2015

Data Stream Mining Techniques参考文献 3被引用 22

一句话总结

本文综述了面向大数据的监督分类技术，分析了其在处理大规模、复杂、非结构化数据集时的优势与局限性。评估了决策树、朴素贝叶斯、支持向量机（SVM）和K-最近邻（K-NN）等算法，强调其在大数据环境中的可扩展性和性能，为研究人员和实践者提供了比较性概述。

ABSTRACT

Big Data concern large-volume, growing data sets that are complex and have multiple autonomous sources. Earlier technologies were not able to handle storage and processing of huge data thus Big Data concept comes into existence. This is a tedious job for users unstructured data. So, there should be some mechanism which classify unstructured data into organized form which helps user to easily access required data. Classification techniques over big transactional database provide required data to the users from large datasets more simple way. There are two main classification techniques, supervised and unsupervised. In this paper we focused on to study of different supervised classification techniques. Further this paper shows a advantages and limitations.

研究动机与目标

• 考察专为大数据环境设计的监督分类技术的最新进展。
• 识别并分析关键监督学习算法在处理大规模、复杂数据集时的优势与劣势。
• 提供适合大数据工作负载的分类方法的比较概述，重点关注可扩展性与效率。
• 指导研究人员和实践者根据数据特征和系统约束选择合适的分类技术。

提出的方法

• 对决策树、朴素贝叶斯、支持向量机（SVM）和K-最近邻（K-NN）等监督分类技术进行系统性综述。
• 分析算法在高容量、高吞吐量和高多样性数据环境中的行为特征。
• 评估每种技术在大数据框架中的计算复杂度与可扩展性。
• 比较不同分类算法在准确性、训练时间与资源利用率方面的表现。
• 整合本综述中引用的先前研究的实证见解，以评估其在实际应用中的适用性。
• 使用表格与图表总结（2张表格，3幅图表）对比性能指标与结构特征。

实验结果

研究问题

• RQ1 在准确性和可扩展性方面，哪些监督分类技术在处理大数据时最为有效？
• RQ2 传统分类算法在应用于大规模、非结构化数据集时表现如何？
• RQ3 现有监督分类方法在大数据环境中存在哪些关键局限性？
• RQ4 不同分类算法在大数据环境下，其训练时间、内存使用与预测准确性方面如何比较？
• RQ5 哪些因素影响大数据应用中分类技术的选择？

主要发现

• 决策树具有出色的可解释性与中等可扩展性，适用于半结构化数据。
• 朴素贝叶斯在高维数据中表现出高速度与高效率，但其特征独立性假设可能限制准确性。
• 支持向量机（SVM）在小到中等规模数据集中可实现高准确性，但在处理极大规模数据时面临可扩展性挑战。
• K-最近邻（K-NN）在低维空间中表现良好，但在大数据环境中计算成本高且内存消耗大。
• 本综述识别出准确性与可扩展性之间存在权衡，简单模型如朴素贝叶斯和决策树在大数据流水线中通常更受青睐。
• 没有单一算法在所有大数据场景中占主导地位；选择取决于数据规模、维度与计算约束。