[论文解读] Data mining : past present and future - a typical survey on data streams

M.S.B. PhridviRaja, C. V. Guru Rao|arXiv (Cornell University)|May 4, 2016

Data Stream Mining Techniques参考文献 14被引用 11

一句话总结

本文综述了数据流挖掘，重点研究实时数据流中的频繁模式挖掘。提出了一种算法，用于识别社交媒体和传感器网络等动态数据源中的频繁模式，并通过案例研究展示了其在处理高速、动态演变数据方面的有效性，同时指出了未来研究在可扩展性、准确性和适应性方面的关键挑战。

ABSTRACT

Data Stream Mining is one of the area gaining lot of practical significance and is progressing at a brisk pace with new methods, methodologies and findings in various applications related to medicine, computer science, bioinformatics and stock market prediction, weather forecast, text, audio and video processing to name a few. Data happens to be the key concern in data mining. With the huge online data generated from several sensors, Internet Relay Chats, Twitter, Face book, Online Bank or ATM Transactions, the concept of dynamically changing data is becoming a key challenge, what we call as data streams. In this paper, we give the algorithm for finding frequent patterns from data streams with a case study and identify the research issues in handling data streams.

研究动机与目标

• 考察传感器、社交媒体和金融系统等来源不断增长的实时数据背景下，数据流挖掘的演变过程与当前状态。
• 解决在内存和计算资源有限的条件下，高效发现持续变化数据流中频繁模式的挑战。
• 通过案例研究说明频繁模式挖掘在动态数据环境中的应用。
• 识别数据流挖掘系统在可扩展性、准确性和适应性方面的关键研究问题。
• 全面概述数据流挖掘领域的过去发展、当前方法论及未来研究方向。

提出的方法

• 本文提出一种专为数据流中频繁模式挖掘设计的算法，优化了低内存使用和高速处理能力。
• 采用滑动窗口模型管理动态演变的数据，聚焦于近期数据并丢弃过时信息。
• 该方法使用基于哈希的结构，可在一次数据流遍历中高效计算项目集出现次数并检测频繁模式。
• 在真实世界的数据流（如社交媒体或事务日志）上开展案例研究，以验证算法性能。
• 该方法整合了增量学习技术，以适应随时间推移而变化的概念漂移和数据分布。
• 基于动态环境中精确率、召回率和计算效率对框架进行评估。

实验结果

研究问题

• RQ1 如何在高速、持续演变的数据流中高效发现频繁模式？
• RQ2 在实时数据流挖掘中，保持准确性和可扩展性的关键挑战是什么？
• RQ3 现有算法如何处理流式环境中概念漂移和数据分布变化的问题？
• RQ4 当前数据流挖掘技术在实际应用中的实际限制有哪些？
• RQ5 哪些未来研究方向对推进数据流挖掘系统最为关键？

主要发现

• 所提出的算法在内存开销极小的情况下实现了高效的频繁模式检测，适用于实时处理。
• 案例研究展示了在社交媒体和事务日志等动态数据源中成功检测模式的能力。
• 研究识别出可扩展性和对概念漂移的适应性是数据流挖掘中的主要挑战。
• 与传统批处理方法相比，该方法在处理速度和准确性方面表现出更优性能。
• 研究强调需要更强大、增量式的学习机制来应对不断演变的数据语义。
• 本文结论指出，未来数据流挖掘系统必须优先考虑实时适应性和资源效率。