[论文解读] Data Curation with Deep Learning [Vision]

Saravanan Thirumuruganathan, Nan Tang+2 more|arXiv (Cornell University)|Mar 4, 2018

Data Quality and Management参考文献 58被引用 6

一句话总结

这篇视觉论文提出利用深度学习（DL）来彻底革新数据整理，以应对特征工程、数据稀缺性以及缺乏任务特定架构等核心挑战。论文提出了一个路线图，涵盖学习多模态表征、设计面向数据整理的深度学习架构，以及适应数据高效型深度学习技术，以减少人工在数据发现、整合和清洗方面的工作量。

ABSTRACT

Data curation - the process of discovering, integrating, and cleaning data - is one of the oldest, hardest, yet inevitable data management problems. Despite decades of efforts from both researchers and practitioners, it is still one of the most time consuming and least enjoyable work of data scientists. In most organizations, data curation plays an important role so as to fully unlock the value of big data. Unfortunately, the current solutions are not keeping up with the ever-changing data ecosystem, because they often require substantially high human cost. Meanwhile, deep learning is making strides in achieving remarkable successes in multiple areas, such as image recognition, natural language processing, and speech recognition. In this vision paper, we explore how some of the fundamental innovations in deep learning could be leveraged to improve existing data curation solutions and to help build new ones. In particular, we provide a thorough overview of the current deep learning landscape, and identify interesting research opportunities and dispel common myths. We hope that the synthesis of these important domains will unleash a series of research activities that will lead to significantly improved solutions for many data curation tasks.

研究动机与目标

• 解决数据整理带来的高昂人力成本，该过程可能消耗数据科学家高达80%的时间。
• 克服现有数据整理解决方案的局限性，这些方案依赖于人工特征工程和标注数据。
• 借鉴深度学习在视觉和自然语言处理领域的成功经验，自动化并改进数据整理任务，如去重、错误检测和实体匹配。
• 建立一个系统化的研究生态系统（tac），为深度学习在数据整理中的应用提供指导，包括基准测试和领域特定架构。
• 缓解关键风险，如数据饥渴、模型可解释性以及企业数据整理环境中对抗性漏洞的问题。

提出的方法

• 为多模态数据（结构化、非结构化、图结构、时间序列）提出表征学习方法，以自动学习特征，无需人工工程。
• 设计针对数据整理任务的领域特定深度学习架构，类似于视觉领域的卷积神经网络（CNNs）和自然语言处理领域的循环神经网络（RNNs）。
• 适应数据高效型深度学习技术，如迁移学习、在无标注数据上的自监督预训练以及弱监督，以减少对大规模标注数据集的依赖。
• 集成可解释人工智能（XAI）方法，为数据修复和质量决策提供可解释的预测结果。
• 开发一个受ImageNet和TPC启发的基准测试生态系统（tac），以标准化评估并加速深度学习驱动的数据整理研究。
• 应用现有深度学习技术并进行创新性适配，用于数据发现和实体匹配等任务，利用注意力机制和元组与列的嵌入空间。

实验结果

研究问题

• RQ1 如何利用深度学习自动化数据整理中的特征工程，以减少对人工领域专业知识的依赖？
• RQ2 哪些最具前景的深度学习架构可以针对去重和错误检测等数据整理任务进行定制化？
• RQ3 在标注数据稀缺且昂贵的数据整理场景中，如何有效应用数据饥渴型深度学习模型？
• RQ4 哪些技术可以提升深度学习模型在数据整理中的可解释性，以确保领域专家的信任与可用性？
• RQ5 如何设计一个标准化的基准测试生态系统，以加速深度学习驱动的数据整理研究与评估？

主要发现

• 深度学习可通过自动化特征学习和规则生成，显著减少人工在数据整理中的投入，有望将用于整理的80%时间降低。
• 从多模态数据（结构化、文本、图、图像）中进行表征学习，可生成通用且可重用的特征，从而提升多样数据整理任务的性能。
• 通过适配现有深度学习技术，尤其是自监督预训练和迁移学习，可有效应对数据整理中的数据稀缺问题，减少对大规模标注数据集的依赖。
• 专为数据整理对象（如元组、列、约束）设计的新颖深度学习架构，可通过更有效地捕捉数据特定模式，超越通用模型的性能。
• 可解释人工智能方法可集成到数据整理的深度学习模型中，为数据修复决策提供可解释的依据，从而提升信任度和可用性。
• 标准化的基准测试生态系统（tac）对于模型比较、加速创新以及确保深度学习驱动的数据整理研究的可复现性至关重要。