[论文解读] Auctus: A Dataset Search Engine for Data Augmentation

Sonia Castelo, Rémi Rampin+4 more|arXiv (Cornell University)|Feb 10, 2021

Data Quality and Management参考文献 22被引用 5

一句话总结

Auctus 是一个数据集搜索引擎，通过分析真实数据集内容，支持时间、空间及连接/并集等高级多约束查询，促进数据发现与增强。它通过无缝集成互补数据集，提升机器学习模型性能，在自行车使用量预测任务中，将 R² 分数从 0.25 提升至 0.56。

ABSTRACT

The large volumes of structured data currently available, from Web tables to open-data portals and enterprise data, open up new opportunities for progress in answering many important scientific, societal, and business questions. However, finding relevant data is difficult. While search engines have addressed this problem for Web documents, there are many new challenges involved in supporting the discovery of structured data. We demonstrate how the Auctus dataset search engine addresses some of these challenges. We describe the system architecture and how users can explore datasets through a rich set of queries. We also present case studies which show how Auctus supports data augmentation to improve machine learning models as well as to enrich analytics.

研究动机与目标

• 解决由于元数据不完整或不一致，导致在异构、分布式数据仓库中发现相关结构化数据集的挑战。
• 使用户能够执行超越关键词搜索的表达性查询，包括空间、时间及数据集成约束。
• 通过识别并连接兼容数据集，支持数据增强，从而提升机器学习模型性能。
• 提供直观的基于 Web 的界面，结合网页搜索的熟悉感与数据可视化分析，实现高效的数据集探索。
• 通过 REST 和 Python API 支持与外部分析工具集成，便于在数据科学工作流中使用。

提出的方法

• 通过可扩展的插件从 Socrata、Zenodo、世界银行开放数据等来源，以及用户上传，摄取数据集。
• 使用自定义数据剖析器对数据集进行剖析，提取列级元数据，包括数据类型、空间和时间字段，以及数据草图。
• 对结构化元数据和剖析信息进行索引，以高效评估涉及时间范围、地理区域及连接/并集约束的复杂查询。
• 通过 Web 界面支持查询组合，允许用户在一个搜索中组合关键词、空间、时间及集成约束。
• 自动检测查询数据集与外部数据集之间的可连接列，通过聚合函数实现实时数据增强。
• 通过 REST API 和 Python 客户端暴露结果，并支持将增强后的数据集以 CSV 和 D3M 格式进行物化，供下游使用。

实验结果

研究问题

• RQ1 当元数据不完整或不一致时，如何在超越基于关键词搜索的基础上改进数据集发现？
• RQ2 对数据集内容进行自动化剖析在多大程度上能支持更丰富、更具表达力的查询以实现数据发现？
• RQ3 一个支持数据集成（如连接和并集）的搜索引擎，能否显著提升机器学习模型训练数据的质量与实用性？
• RQ4 结合网页搜索与数据分析隐喻的统一界面，在多大程度上能有效支持非专家用户发现并增强数据集？
• RQ5 通过搜索引擎实现的自动化数据增强，在真实世界用例中对预测模型性能有何影响？

主要发现

• Auctus 有效支持包括空间、时间及数据集成操作在内的复杂多约束查询，使用户能够发现并组合超越简单关键词匹配的数据集。
• 在自行车使用量预测任务中，通过 Auctus 将天气数据（如降雨量）与原始数据集增强后，R² 分数从 0.25 提升至 0.56，证明了性能的显著提升。
• 该系统识别并实现了社会冲突分析数据库（SCAD）与基于网格的冲突数据集的集成，使研究人员能够将不稳定事件作为国家层面暴力的预测因子进行分析。
• Auctus 的剖析器在多样化数据集中准确检测出空间和时间字段，实现了对 19,000 个已索引数据集的高效索引与查询处理。
• 通过 REST 和 Python API 与外部分析工具集成，使系统能够无缝自动化数据科学工作流。
• 用户交互研究显示，结合搜索与可视化隐喻的混合用户界面，显著提升了用户探索和验证数据集相关性与兼容性能力。