[论文解读] Mining The Data From Distributed Database Using An Improved Mining Algorithm

J. Arokia Renjit, K. L. Shunmuganathan|arXiv (Cornell University)|Apr 10, 2010

Data Mining Algorithms and Applications参考文献 6被引用 11

一句话总结

本文提出了一种基于LMatrix技术的改进型分布式关联规则挖掘算法，以降低通信成本并提升地理分布数据库中的效率。通过利用LMatrix计算本地支持度计数并最小化数据库扫描次数，该算法在分布式环境中实现了比串行方法更快的执行速度和更好的可扩展性。

ABSTRACT

Association rule mining is an active data mining research area and most ARM algorithms cater to a centralized environment. Centralized data mining to discover useful patterns in distributed databases isn't always feasible because merging data sets from different sites incurs huge network communication costs. In this paper, an Improved algorithm based on good performance level for data mining is being proposed. In local sites, it runs the application based on the improved LMatrix algorithm, which is used to calculate local support counts. Local Site also finds a centre site to manage every message exchanged to obtain all globally frequent item sets. It also reduces the time of scan of partition database by using LMatrix which increases the performance of the algorithm. Therefore, the research is to develop a distributed algorithm for geographically distributed data sets that reduces communication costs, superior running efficiency, and stronger scalability than direct application of a sequential algorithm in distributed databases.

研究动机与目标

• 解决在集中式关联规则挖掘中合并来自分布式站点数据时产生的高通信开销问题。
• 克服传统串行算法在分布式数据库中因网络成本和可扩展性问题而带来的局限性。
• 开发一种可扩展、高效的分布式挖掘算法，以减少数据库扫描次数和通信轮次。
• 通过在每个站点使用LMatrix技术进行本地支持度计数，提升性能。
• 通过中心协调站点实现全局频繁项集的发现，同时优化消息传递机制。

提出的方法

• 在每个本地站点应用改进的LMatrix算法，以高效计算本地支持度计数。
• 使用指定的中心站点协调消息交换，并聚合本地结果以计算全局频繁项集。
• 通过优化LMatrix结构以支持本地数据处理，最小化数据库扫描次数。
• 通过仅在站点之间传输必要信息（例如本地频繁项集）来降低通信成本。
• 在本地站点与中心站点之间集成消息传递机制，以同步结果并构建全局模式。
• 设计算法使其在数据量和分布式站点数量增加时仍能良好扩展。

实验结果

研究问题

• RQ1 如何在地理分散的数据库中实现分布式关联规则挖掘的通信成本最小化？
• RQ2 与传统方法相比，基于LMatrix的本地支持度计算在性能提升方面有多大程度的改善？
• RQ3 在分布式环境中，该分布式挖掘算法是否能实现优于串行算法的可扩展性和效率？
• RQ4 减少数据库扫描对分布式挖掘整体执行时间有何影响？
• RQ5 通过中心站点进行协调的消息传递机制在最小化数据传输的同时，对保持准确性有多大的有效性？

主要发现

• 所提出的算法通过利用LMatrix结构进行本地支持度计数，显著减少了数据库扫描次数。
• 通过选择性消息传递，仅将必要的本地频繁项集传输至中心站点，从而最小化了通信成本。
• 与在分布式环境中直接应用串行挖掘算法相比，该算法表现出更优的运行效率。
• 由于减少了对完整数据传输的依赖，并优化了本地站点与中心站点之间的协调机制，实现了更好的可扩展性。
• LMatrix的使用提升了本地处理速度，有助于加快全局频繁项集发现的收敛速度。
• 该算法在高效处理分布式数据源的同时，保持了高精度的模式发现能力。