[论文解读] An improvement on fragmentation in Distribution Database Design Based on Knowledge-Oriented Clustering Techniques

Van Nghia Luong, Ha Huy Cuong Nguyen+1 more|arXiv (Cornell University)|May 6, 2015

Data Management and Algorithms参考文献 5被引用 3

一句话总结

本文提出一种以知识为导向的聚类方法，用于优化分布式数据库设计中的水平与垂直碎片化。通过利用基于经典方法的距阈值和增强的相似性度量，该算法在保持稳定复杂度并匹配小数据集上经典结果的同时，减少了执行时间和数据碎片化。

ABSTRACT

The problem of optimizing distributed database includes: fragmentation and positioning data. Several different approaches and algorithms have been proposed to solve this problem. In this paper, we propose an algorithm that builds the initial equivalence relation based on the distance threshold. This threshold is also based on knowledge- oriented clustering techniques for both of horizontal and vertical fragmentation. Similarity measures used in the algorithms are the measures developed from the classical measures. Experimental results carrying on the small data set match fragmented results based on the classical algorithm. Execution time and data fragmentation significantly reduced while the complexity of our algorithm in the general case is stable.

研究动机与目标

• 解决分布式数据库设计中高效数据碎片化的挑战。
• 通过整合以知识为导向的聚类，改进现有碎片化技术。
• 在保持准确性的前提下，减少执行时间和数据碎片化。
• 确保在一般使用场景下算法复杂度的稳定性。

提出的方法

• 该算法基于以知识为导向的聚类所导出的距离阈值，构建初始等价关系。
• 应用基于经典度量的相似性度量，并针对数据库碎片化任务进行增强。
• 通过统一的聚类逻辑，同时支持水平与垂直碎片化。
• 距离阈值动态适应数据分布模式，以提升聚类质量。
• 聚类过程由领域知识引导，以增强相关性并减少冗余。
• 该方法在小数据集上进行评估，以验证其性能与经典算法的准确性。

实验结果

研究问题

• RQ1 以知识为导向的聚类如何提升分布式数据库碎片化的质量？
• RQ2 使用距离阈值对碎片化效率和执行时间有何影响？
• RQ3 与经典方法相比，所提出方法是否能在保持准确性的同时减少数据碎片化？
• RQ4 在一般数据库工作负载下，该算法的复杂度表现如何？
• RQ5 领域知识的整合在多大程度上提升了碎片化中聚类的精确度？

主要发现

• 所提出的算法与经典碎片化方法相比，显著减少了执行时间。
• 数据碎片化明显减少，提升了存储与查询效率。
• 该算法在各种数据库工作负载下保持了稳定的复杂度。
• 在小数据集上的实验结果与经典算法产生的结果高度一致。
• 知识导向聚类的整合提升了聚类的准确性和相关性。