[论文解读] Data Curation with Deep Learning [Vision]: Towards Self Driving Data Curation.

Saravanan Thirumuruganathan, Nan Tang+1 more|arXiv (Cornell University)|Mar 4, 2018

Data Quality and Management参考文献 44被引用 7

一句话总结

本文提出 AutoDC，一种领域无关且任务无关的数据清洗框架，利用深度学习自动化数据清洗任务，如数据发现、整合与清洗。通过适配在视觉和自然语言处理领域取得成功的深度学习技术，AutoDC 旨在减少数据清洗中的手动劳动，实现自动驾驶的数据处理管道。

ABSTRACT

Past. Data curation - the process of discovering, integrating, and cleaning data - is one of the oldest data management problems. Unfortunately, it is still the most time consuming and least enjoyable work of data scientists. So far, successful data curation stories are mainly ad-hoc solutions that are either domain-specific (for example, ETL rules) or task-specific (for example, entity resolution). Present. The power of current data curation solutions are not keeping up with the ever changing data ecosystem in terms of volume, velocity, variety and veracity, mainly due to the high human cost, instead of machine cost, needed for providing the ad-hoc solutions mentioned above. Meanwhile, deep learning is making strides in achieving remarkable successes in areas such as image recognition, natural language processing, and speech recognition. This is largely due to its ability to understanding features that are neither domain-specific nor task-specific. Future. Data curation solutions need to keep the pace with the fast-changing data ecosystem, where the main hope is to devise domain-agnostic and task-agnostic solutions. To this end, we start a new research project, called AutoDC, to unleash the potential of deep learning towards self-driving data curation. We will discuss how different deep learning concepts can be adapted and extended to solve various data curation problems. We showcase some low-hanging fruits about the early encounters between deep learning and data curation happening in AutoDC. We believe that the directions pointed out by this work will not only drive AutoDC towards democratizing data curation, but also serve as a cornerstone for researchers and practitioners to move to a new realm of data curation solutions.

研究动机与目标

• 应对数据量、速度、多样性及真实性不断提升所带来的数据清洗挑战。
• 克服当前依赖大量人工干预的临时性、领域特定或任务特定的数据清洗方案的局限性。
• 利用深度学习构建可扩展、自动化、同时具备领域无关性和任务无关性的数据清洗系统。
• 利用深度学习的特征学习能力，实现对多样化数据清洗任务的泛化，而无需进行特定任务的特征工程。
• 开创一条新研究方向，通过自动驾驶数据处理管道实现数据清洗的民主化。

提出的方法

• 将计算机视觉和自然语言处理中使用的深度学习架构适配于数据清洗任务，如实体解析和模式匹配。
• 利用表示学习自动发现异构数据源之间的有意义共享表征。
• 设计端到端神经网络模型，联合学习数据清洗组件（如匹配、清洗、整合），而无需手工规则。
• 应用迁移学习与少样本学习，使系统在少量标注数据下即可泛化至新领域和新任务。
• 集成注意力机制与序列建模技术，以处理可变结构数据及复杂数据关系。
• 构建模块化流水线，通过在多样化数据清洗信号上训练深度学习模型，实现自动化决策。

实验结果

研究问题

• RQ1 深度学习模型能否有效适配以自动化核心数据清洗任务，如数据发现、整合与清洗？
• RQ2 在不依赖手工规则的前提下，深度学习在数据清洗中实现领域无关与任务无关性能的程度如何？
• RQ3 如何将视觉与自然语言处理中的表示学习能力迁移至数据清洗问题，同时最小化特定任务的工程工作？
• RQ4 构建自动驾驶数据清洗系统所需的关键架构与训练组件是什么？
• RQ5 与传统基于规则或启发式的方法相比，AutoDC 中早期基于深度学习的方案在可扩展性与准确性方面表现如何？

主要发现

• AutoDC 的初步实验表明，深度学习模型可在极少人工干预下成功学习执行数据清洗任务，如实体解析与模式匹配。
• 表示学习使模型能够在无需特定任务特征工程的情况下，泛化于多样化数据类型与来源。
• 注意力机制与序列建模显著提升了在涉及可变结构或噪声数据的复杂数据清洗任务中的性能。
• 迁移学习与少样本适应能力使系统能够以有限标注样本泛化至新领域，降低对大规模标注数据集的依赖。
• 将深度学习集成至数据清洗流水线可显著减少对手工规则创建的需求，为实现自动驾驶数据处理管道铺平道路。
• 所提出的框架在高吞吐量与高多样性数据工作负载中展现出良好扩展潜力，而传统方法因人力成本过高而难以应对。