[论文解读] Alaska: A Flexible Benchmark for Data Integration Tasks

Valter Crescenzi, Andrea De Angelis+5 more|arXiv (Cornell University)|Jan 27, 2021

Data Quality and Management参考文献 31被引用 4

一句话总结

阿拉斯加是一个真实世界、灵活的数据集成任务基准，包含来自71个电子商务网站的7万条产品规格，覆盖三个领域（相机、显示器、笔记本电脑）。它支持模式匹配和实体消解，并配有精心整理的真实答案，可对不同数据特征和任务变体的端到端数据集成流程进行评估。

ABSTRACT

Data integration is a long-standing interest of the data management community and has many disparate applications, including business, science and government. We have recently witnessed impressive results in specific data integration tasks, such as Entity Resolution, thanks to the increasing availability of benchmarks. A limitation of such benchmarks is that they typically come with their own task definition and it can be difficult to leverage them for complex integration pipelines. As a result, evaluating end-to-end pipelines for the entire data integration process is still an elusive goal. In this work, we present Alaska, the first benchmark based on real-world dataset to support seamlessly multiple tasks (and their variants) of the data integration pipeline. The dataset consists of ~70k heterogeneous product specifications from 71 e-commerce websites with thousands of different product attributes. Our benchmark comes with profiling meta-data, a set of pre-defined use cases with diverse characteristics, and an extensive manually curated ground truth. We demonstrate the flexibility of our benchmark by focusing on several variants of two crucial data integration tasks, Schema Matching and Entity Resolution. Our experiments show that our benchmark enables the evaluation of a variety of methods that previously were difficult to compare, and can foster the design of more holistic data integration solutions.

研究动机与目标

• 解决缺乏全面基准的问题，以支持对数据集成流程的端到端评估。
• 克服现有任务特定基准的局限性，这些基准将模式匹配或实体消解孤立处理，限制了整体评估。
• 提供一个灵活的真实世界数据集，支持在多种配置和数据特征下评估多样化数据集成技术。
• 通过提供涵盖多种用例和配置元数据的统一基准，支持集成的、端到端数据集成解决方案的开发。
• 通过使用经人工精心整理的真实答案的真实世界数据，促进在不同模式匹配和实体消解任务变体之间对方法进行公平比较。

提出的方法

• 从三个领域（相机、显示器、笔记本电脑）的71个真实电子商务网站中收集7万条产品规格。
• 使用自定义网络爬虫和一个名为Carbonara的系统提取数据，重点关注产品规格，排除聚合网站和国家特定变体。
• 对数据集从多个维度（如属性多样性、文本复杂性、来源异质性）进行分析，以支持针对特定评估目标选择子集。
• 人工整理模式匹配和实体消解任务的真实答案，包括标记的属性对和记录对，并附带匹配/非匹配标签。
• 设计基准以支持多种任务变体，包括无模式依赖的实体消解和中介模式匹配，输入和评估均采用结构化数据格式。
• 发布部分真实答案用于训练，其余部分保密，用于竞赛中的F1值评估，确保可复现的基准测试。

实验结果

研究问题

• RQ1 一个真实世界基准能否在统一流程中支持对多种模式匹配和实体消解任务变体的灵活评估？
• RQ2 真实电子商务来源之间的数据异质性在多大程度上影响数据集成方法的性能和评估？
• RQ3 一个经过精心整理真实答案的基准在多大程度上能实现对多样化数据集成技术的公平且可复现的比较？
• RQ4 一个专为真实世界数据设计的基准能否支持超越孤立任务的复杂数据集成流程的端到端评估？
• RQ5 基准设计如何扩展以支持其他数据集成任务，如数据抽取和融合？

主要发现

• 阿拉斯加基准包含来自71个真实电子商务来源的7万条产品规格，覆盖三个领域，拥有1.5万个不同的属性名称，数据异质性显著。
• 该基准支持多种任务变体，包括无模式依赖的实体消解和中介模式匹配，且为这两项任务均提供了标记数据。
• 在2020年SIGMOD编程竞赛和两次DI2KG挑战中的初步部署证明了该基准的实用性，共发布了297,651对标记记录对和135至189对标记属性对用于训练和评估。
• 经精心整理的真实答案使可靠的F1值计算成为可能，SIGMOD 2020竞赛中发布了44,039对匹配记录对和253,612对非匹配记录对。
• 该基准的分析元数据使用户能够选择反映特定数据特征（如更长的文本描述或更高的属性多样性）的来源子集。
• 未来扩展计划包括新增垂直领域（如生物数据）、匿名化变体，以及支持更多任务（如数据抽取和融合），并计划自动化真实答案的整理以减少人工工作量。