[论文解读] Embeddings for Tabular Data: A Survey

Rajat Singh, Srikanta Bedathur|arXiv (Cornell University)|Feb 23, 2023

Data Quality and Management被引用 4

一句话总结

本综述全面概述了表格数据表示学习技术，按表格的可视化方式——图像、图、文本或原生表格格式——对方法进行分类。它识别出处理异质特征和依赖关系的关键挑战，并在Table-to-SQL、元数据预测和公式生成等任务上评估了最先进模型，突出显示深度学习在大规模数据集上的优越性。

ABSTRACT

Tabular data comprising rows (samples) with the same set of columns (attributes, is one of the most widely used data-type among various industries, including financial services, health care, research, retail, and logistics, to name a few. Tables are becoming the natural way of storing data among various industries and academia. The data stored in these tables serve as an essential source of information for making various decisions. As computational power and internet connectivity increase, the data stored by these companies grow exponentially, and not only do the databases become vast and challenging to maintain and operate, but the quantity of database tasks also increases. Thus a new line of research work has been started, which applies various learning techniques to support various database tasks for such large and complex tables. In this work, we split the quest of learning on tabular data into two phases: The Classical Learning Phase and The Modern Machine Learning Phase. The classical learning phase consists of the models such as SVMs, linear and logistic regression, and tree-based methods. These models are best suited for small-size tables. However, the number of tasks these models can address is limited to classification and regression. In contrast, the Modern Machine Learning Phase contains models that use deep learning for learning latent space representation of table entities. The objective of this survey is to scrutinize the varied approaches used by practitioners to learn representation for the structured data, and to compare their efficacy.

研究动机与目标

• 系统化并分类现有学习表格数据分布式表示（嵌入）的方法。
• 识别并分析表格数据带来的独特挑战，包括异质特征、列间依赖关系和数据稀疏性。
• 将当前的机器学习技术映射到特定的表格数据任务，如Table-to-SQL、元数据预测和公式生成。
• 提供基准数据集及其在训练和评估表格表示模型中作用的结构化概述。
• 从可扩展性、可解释性和在结构化数据上的性能角度，比较经典机器学习模型与现代深度学习方法。

提出的方法

• 根据表格的可视化方式对表格表示方法进行分类：作为图像、图、自然语言序列或原生表格结构。
• 将模型分为四大类：基于图像的（例如将表格视为像素网格）、基于图的（将表格结构建模为图）、基于文本的（将表格编码为标记序列）以及原生表格模型（直接处理表格格式）。
• 采用两阶段框架：经典学习阶段（SVM、逻辑回归、树基模型）和现代机器学习阶段（使用深度神经网络进行端到端表示学习）。
• 应用注意力机制和预训练策略（例如TaBERT和TURL中所用）以捕捉表格中的列级语义和实体关系。
• 在基于序列的模型中使用可见性矩阵和标记拼接（例如，单元格值 + 列类型）来建模列类型和表格结构。
• 在标准基准上评估模型，如SPIDER（用于Table-to-SQL）、Wikipedia Tables（用于TQA和SP）以及WikiSQL（用于语义解析和检索）。

实验结果

研究问题

• RQ1 不同的可视化范式（图像、图、文本、原生表格）如何影响表格表示模型的性能和泛化能力？
• RQ2 当应用于大规模或复杂表格数据时，经典机器学习模型（如SVM、树基模型）的关键局限性是什么？
• RQ3 深度学习模型在Table-to-SQL解析、公式预测和元数据检测等下游任务上的性能提升程度如何？
• RQ4 模型架构如何处理表格数据中的异质特征类型（数值型、分类型、文本型），并使用何种技术将它们统一到共享嵌入空间中？
• RQ5 哪些基准数据集最能代表现实世界表格数据的挑战，以及它们如何支持表示学习方法的评估？

主要发现

• 在大规模表格数据集上，深度学习模型优于经典模型，特别是在需要端到端训练和复杂特征交互时。
• 基于图像和基于图的模型在需要结构理解的任务（如Table-to-SQL和关系检测）中表现强劲，但可能在长距离依赖关系上表现不佳。
• 基于文本的模型（如TaBERT和TURL）通过使用注意力机制联合编码表格内容和列元数据，在语义解析任务中取得了最先进结果。
• SPIDER数据集包含10,181个自然语言问题和5,693个对应的SQL查询，是评估Table-to-SQL模型的关键基准，凸显了自然语言对齐在表格数据中的重要性。
• Wikipedia Tables包含160万张表格及其周边文本，是目前最大的公开可用数据集之一，用于训练和评估表格表示模型。
• 异质表格数据（例如，Arrhythmia、带有图像模态的MNIST）比同质数据更具挑战性，需要多模态嵌入策略才能实现有效的表示学习。