[论文解读] Efficient Discovery of Approximate Order Dependencies

Reza Karegar, Parke Godfrey+4 more|arXiv (Cornell University)|Jan 6, 2021

Data Quality and Management参考文献 12被引用 4

一句话总结

本文提出了一种新颖且最优的近似顺序依赖性（AOD）验证算法，显著加速了大规模数据集中的发现过程。通过用此高效方法替代现有框架中的迭代验证步骤，作者实现了最高达76%的性能提升，从而能够发现以往因运行时间限制而被遗漏的有意义的低层级AOD。

ABSTRACT

Order dependencies (ODs) capture relationships between ordered domains of attributes. Approximate ODs (AODs) capture such relationships even when there exist exceptions in the data. During automated discovery of ODs, validation is the process of verifying whether an OD holds. We present an algorithm for validating approximate ODs with significantly improved runtime performance over existing methods for AODs, and prove that it is correct and has optimal runtime. By replacing the validation step in a leading algorithm for approximate OD discovery with ours, we achieve orders-of-magnitude improvements in performance.

研究动机与目标

• 解决由于候选依赖关系验证缓慢而导致的近似顺序依赖性（AOD）发现中的性能瓶颈。
• 设计一种在运行时间上既正确又渐近最优的AOD验证算法。
• 通过减少验证时间，实现对更多有意义的低层级AOD的发现，从而提升AOD发现框架的可扩展性和有效性。
• 证明在存在数据异常的情况下，近似依赖发现可在速度和洞察力方面优于精确发现。

提出的方法

• 作者提出了一种新型验证算法，通过计算使依赖关系有效所需的最小删除集合，来判断近似顺序依赖性（AOD）是否成立。
• 该算法时间复杂度为O(n log n)，已被证明是该问题的最优解，且在最小删除集合定义下具有正确性。
• 它利用了顺序兼容性（OC）的概念，并采用两阶段方法：首先使用高效的排序和比较技术验证候选AOD，然后应用剪枝规则以减少搜索空间。
• 该方法可无缝集成到现有的标准顺序依赖性发现框架中，用新的最优验证过程替代其原有的缓慢迭代验证步骤。
• 该框架优先在较低的格层级生成候选，因为这些层级中的AOD更可能具有语义意义，并利用快速验证高效探索这些层级。
• 该方法在真实世界数据集（如ncvoter、flight）上进行了评估，显示出显著的性能提升，并因运行时间减少而发现了此前未被检测到的AOD。

实验结果

研究问题

• RQ1 能否设计一种在运行时间上既正确又渐近最优的AOD验证算法？
• RQ2 在真实世界数据集中，用所提出的算法替换AOD发现中的迭代验证步骤是否能带来可测量的性能提升？
• RQ3 新的验证方法是否能实现对以往因时间限制而被遗漏的更多有意义的低层级AOD的发现？
• RQ4 在速度和有意义依赖关系的覆盖范围方面，近似AOD发现与精确OD发现相比表现如何？

主要发现

• 所提出的验证算法实现了最优的O(n log n)时间复杂度，且已被证明正确，是首个已知的AOD验证最优算法。
• 在属性数量不断增加的实验中，将领先AOD发现框架中的迭代验证步骤替换为新算法后，性能最高可提升76%。
• 该框架发现的AOD平均比精确OD发现低1.2个格层级，表明其发现了更具语义意义和可泛化性的依赖关系。
• 在包含500万条元组、阈值为20%的ncvoter数据集中，新方法发现了如'municipalityAbbrv ~ municipalityDesc'等AOD，这些依赖关系因时间限制而被迭代方法遗漏。
• 由于更早且更有效地探索了较低的格层级，该框架发现了更多有趣的依赖关系，例如'originAirport ~ IATACode'（近似因子8%）和'streetAddress ~ mailAddress'（近似因子18%）。
• 尽管AOD验证本身比精确OC验证更昂贵（O(n log n) vs O(n)），但由于有效的剪枝和更早发现有意义的模式，AOD的总发现时间比精确OD快最多34%。