[论文解读] Dataset-On-Demand: Automatic View Search and Presentation for Data Discovery

Raul Castro Fernandez, Nan Tang+3 more|arXiv (Cornell University)|Nov 26, 2019

Data Quality and Management参考文献 28被引用 4

一句话总结

本文提出了数据集按需获取（DoD）系统，通过允许用户指定期望的模式，自动在异构数据源中搜索语义正确的数据视图，从而实现数据视图发现的自动化。DoD采用一种新颖的四类分类法——兼容、包含、互补和矛盾，将候选视图数量减少2至10倍，使用户能在几分钟内从显著精简的集合中高效选择正确视图。

ABSTRACT

Many data problems are solved when the right view of a combination of datasets is identified. Finding such a view is challenging because of the many tables spread across many databases, data lakes, and cloud storage in modern organizations. Finding relevant tables, and identifying how to combine them is a difficult and time-consuming process that hampers users' productivity. In this paper, we describe Dataset-On-Demand (DoD), a system that lets users specify the schema of the view they want, and have the system find views for them. With many underlying data sources, the number of resulting views for any given query is high, and the burden of choosing the right one is onerous to users. DoD uses a new method, 4C, to reduce the size of the view choice space for users. 4C classifies views into 4 classes: compatible views are exactly the same, contained views present a subsumption relationship, complementary views are unionable, and contradictory views have incompatible values that indicate fundamental differences between views. These 4 classes permit different presentation strategies to reduce the total number of views a user must consider. We evaluate DoD on two key metrics of interest: its ability to reduce the size of the choice space, and the end to end performance. DoD finds all views within minutes, and reduces the number of views presented to users by 2-10x.

研究动机与目标

• 解决现代组织中在大规模、异构数据源中查找正确数据视图的挑战。
• 减轻用户在为所需视图选择正确的表和连接组合时的认知负担和时间成本。
• 克服现有示例查询系统所存在的局限，这些系统假设存在主键-外键图结构，无法处理语义模糊性或错误连接。
• 使用户能够通过属性和样本元组指定期望视图，而无需了解模式知识或手动定义连接路径。
• 通过语义和结构分析智能地精简和分类候选视图，将用户参与最小化至最终选择阶段。

提出的方法

• 接受用户输入，形式为指定所需属性和样本元组以定义目标模式的查询视图。
• 通过探索所有可能的表组合和连接路径，自动发现所有满足查询的候选视图。
• 应用四类分类法，将视图划分为四种类别：兼容（相同）、包含（包含关系）、互补（可合并）和矛盾（不兼容值）。
• 使用四类追踪算法，基于属性语义、值重叠和结构一致性，检测并将视图归入这些类别。
• 采用一种展示策略，结合显示兼容视图，剔除包含视图，并突出显示互补或矛盾视图，以减轻用户认知负担。
• 通过采样连接和查询下推技术优化视图搜索性能，以管理大表上的内存占用和执行时间。

实验结果

研究问题

• RQ1 当用户在异构、分布式数据源中指定期望数据视图时，如何减少候选视图的数量？
• RQ2 哪些语义和结构标准可有效对候选视图进行分类，以支持直观的用户选择？
• RQ3 系统是否能在保持真实数据环境中准确性和性能的前提下，减少用户在视图发现中的参与度？
• RQ4 四类分类法在存在模糊或错误连接的情况下，是否能有效区分语义不同的视图（如工作地址与家庭地址）？
• RQ5 自动视图搜索与分类在多大程度上能优于传统的人工或启发式数据发现方法？

主要发现

• 通过四类分类法，DoD将视图选择空间缩小了2至10倍，显著降低了用户认知负担。
• 系统在几分钟内找到所有候选视图——对于较小查询，通常在10秒内完成，展现出出色的端到端性能。
• 四类方法能有效识别并基于语义相似性、包含关系、可合并性和不相容性对视图进行分组，从而支持有意义的展示策略。
• 通过采样连接和查询下推等优化手段，与基线实现相比，将端到端执行时间减少了4至6倍。
• 系统在不假设存在主键-外键图的前提下，能够处理语义异质性和错误连接，使其在存在不一致或模糊模式映射的真实环境中具有鲁棒性。
• 多行展示策略通过汇总视图进一步减少了用户参与度，使用户能从紧凑且语义分组的集合中做出最终选择。