[论文解读] Tabular Data Augmentation for Machine Learning: Progress and Prospects of Embracing Generative AI

Lingxi Cui, Huan Li+3 more|arXiv (Cornell University)|Jul 31, 2024

Computational Physics and Python Applications被引用 10

一句话总结

对于 ML 的表格数据增强（TDA）的综合综述，详细介绍三阶段管线（预处理、增强、后处理），一个基于层级的分类（行/列/单元格/表格）、检索和生成方法，以及在生成式 AI 时代的未来方向。

ABSTRACT

Machine learning (ML) on tabular data is ubiquitous, yet obtaining abundant high-quality tabular data for model training remains a significant obstacle. Numerous works have focused on tabular data augmentation (TDA) to enhance the original table with additional data, thereby improving downstream ML tasks. Recently, there has been a growing interest in leveraging the capabilities of generative AI for TDA. Therefore, we believe it is time to provide a comprehensive review of the progress and future prospects of TDA, with a particular emphasis on the trending generative AI. Specifically, we present an architectural view of the TDA pipeline, comprising three main procedures: pre-augmentation, augmentation, and post-augmentation. Pre-augmentation encompasses preparation tasks that facilitate subsequent TDA, including error handling, table annotation, table simplification, table representation, table indexing, table navigation, schema matching, and entity matching. Augmentation systematically analyzes current TDA methods, categorized into retrieval-based methods, which retrieve external data, and generation-based methods, which generate synthetic data. We further subdivide these methods based on the granularity of the augmentation process at the row, column, cell, and table levels. Post-augmentation focuses on the datasets, evaluation and optimization aspects of TDA. We also summarize current trends and future directions for TDA, highlighting promising opportunities in the era of generative AI. In addition, the accompanying papers and related resources are continuously updated and maintained in the GitHub repository at https://github.com/SuDIS-ZJU/awesome-tabular-data-augmentation to reflect ongoing advancements in the field.

研究动机与目标

• 定义表格数据增强（TDA）在 ML 中的范围与重要性。
• 提出一个面向架构的、基于管线的 TDA 视图，涵盖 pre-、augmentation、和 post- 阶段。
• 发展一个基于层级的分类法（行、列、单元格、表格）以及面向任务的 TDA 方法分类。
• 区分基于检索的 TDA 与基于生成的 TDA 方法，并总结它们的优缺点。
• 突出趋势、挑战以及未来研究方向，特别是在生成式 AI 时代。

提出的方法

• 提出 TDA 管线的架构视图：pre-augmentation、augmentation、post-augmentation。
• Classify pre-augmentation tasks (e.g., error handling, table annotation, table simplification, table representation, indexing, navigation, schema matching, entity matching) and post-augmentation evaluation/optimization.
• 引入基于层级的 TDA 分类法（row-, column-, cell-, table-level）并定义原始表格与增强表之间的形式关系。
• 区分检索式 TDA（通过表格库的数据驱动）与生成式 TDA（合成数据），并解释它们在各个层级的应用。
• 总结一种双阶段的增强方法（table pools 与生成模型），并讨论 post-augmentation 的评估策略和数据集。
• 提供将生成式 AI 技术（PLMs、LLMs、扩散模型、VAEs、GANs）整合到 TDA 工作流的路径。

实验结果

研究问题

• RQ1 对于 ML 任务，TDA 管线的核心组件与阶段是什么？
• RQ2 TDA 方法如何按层级（行/列/单元格/表格）和基于检索 vs 生成 paradigms 进行系统性分类？
• RQ3 常见的 pre-augmentation、augmentation 和 post-augmentation 技术及其权衡？
• RQ4 生成式 AI 如何重塑 TDA，这一领域的未来方向与挑战是什么？
• RQ5 哪些数据集、评估策略和优化策略适用于评估 TDA 的质量及对 ML 性能的影响？

主要发现

• TDA 是克服表格数据在 ML 中的稀缺性和质量问题的必要方法。
• 三阶段的 TDA 管线（pre-、augmentation、post-）为这一过程提供了统一视角。
• 基于层级的分类法（行、列、单元格、表格）使对增强任务的粒度划分成为可能。
• 基于检索的和基于生成的 TDA 覆盖互补策略，并且可以在多个层级应用。
• GenAI 趋势（PLMs、LLMs、扩散模型、VAEs、GANs）正越来越多地集成到 TDA 管线中。
• 本文提供一个 GitHub 资源，持续更新与 TDA 相关的方法与数据集。