[论文解读] Optimizing Organizations for Navigating Data Lakes.

Fatemeh Nargesian, Ken Q. Pu+3 more|arXiv (Cornell University)|Dec 17, 2018

Data Quality and Management参考文献 39被引用 2

一句话总结

本文提出一种概率模型，将数据湖组织为图结构，通过导航提升表发现能力。通过建模用户导航行为并使用近似算法，该方法在发现率上优于关键词搜索和现有分类体系，用户研究显示导航与关键词搜索具有显著互补性，能显著提升可发现性。

ABSTRACT

We consider the problem of creating a navigation structure that allows a user to most effectively navigate a data lake. We define an organization as a graph that contains nodes representing sets of attributes within a data lake and edges indicating subset relationships among nodes. We present a new probabilistic model of how users interact with an organization and define the likelihood of a user finding a table using the organization. We propose the data lake organization problem as the problem of finding an organization that maximizes the expected probability of discovering tables by navigating an organization. We propose an approximate algorithm for the data lake organization problem. We show the effectiveness of the algorithm on both real data lakes containing data from open data portals and on benchmarks that emulate the observed characteristics of real data lakes. Through a formal user study, we show that navigation can help users discover relevant tables that cannot be found by keyword search. In addition, in our study, 42% of users preferred the use of navigation and 58% preferred keyword search, suggesting these are complementary and both useful modalities for data discovery in data lakes. Our experiments show that data lake organizations take into account the data lake distribution and outperform an existing hand-curated taxonomy and a common baseline organization.

研究动机与目标

• 为解决由于数据非结构化、异构性导致的数据湖中数据发现效率低下的问题。
• 将用户在数据湖中的导航行为建模为概率过程，以预测表发现的可能性。
• 将数据湖组织问题形式化为通过最优图结构最大化预期表发现概率。
• 开发并评估一种近似算法，以构建高效的导航组织结构。
• 通过真实和合成数据湖对方法进行实证验证，对比关键词搜索和现有分类体系。

提出的方法

• 将数据湖组织表示为有向无环图（DAG），其中节点为属性集合，边表示子集关系。
• 定义一个概率用户导航模型，用于估计通过组织图中的路径到达某张表的可能性。
• 将数据湖组织问题形式化为在所有表上最大化预期发现概率。
• 提出一种基于数据分布和用户行为模式的近似贪心算法，用于构建组织图。
• 使用来自开放数据门户的真实数据和反映现实世界数据湖特性的合成基准进行评估。
• 开展正式用户研究，比较导航与关键词搜索在表发现有效性方面的表现。

实验结果

研究问题

• RQ1 基于图的组织结构能否提升用户在数据湖中发现相关表的概率？
• RQ2 与关键词搜索相比，基于导航的发现方式在有效性与用户偏好方面表现如何？
• RQ3 所提出的组织模型在多大程度上优于人工维护的分类体系和基线组织方法？
• RQ4 该算法在多大程度上能够扩展并适应真实世界数据湖的数据分布？

主要发现

• 与仅使用关键词搜索相比，导航显著提升了表发现率，42%的用户偏好导航，58%偏好关键词搜索，表明两者具有强烈互补性。
• 所提出的算法在预期表发现概率方面优于人工维护的分类体系和常见基线组织方法。
• 该方法有效捕捉了数据湖的数据分布特征，从而构建出更高效的导航结构。
• 用户研究结果证实，导航有助于发现仅靠关键词搜索无法检索到的表。
• 该算法在真实数据湖和模拟真实数据湖特性的合成基准上均表现出稳健性能。