[論文レビュー] Tabular Data Augmentation for Machine Learning: Progress and Prospects of Embracing Generative AI

Lingxi Cui, Huan Li+3 more|arXiv (Cornell University)|Jul 31, 2024

Computational Physics and Python Applications被引用数 10

ひとこと要約

機械学習のための表形式データ増強（TDA）に関する総合的な調査で、3段階のパイプライン（事前-, 増強, 事後-）、レベルベースの分類法（行/列/セル/表）、取得ベースと生成ベースの手法、生成AI時代の今後の方向性を詳述する。

ABSTRACT

Machine learning (ML) on tabular data is ubiquitous, yet obtaining abundant high-quality tabular data for model training remains a significant obstacle. Numerous works have focused on tabular data augmentation (TDA) to enhance the original table with additional data, thereby improving downstream ML tasks. Recently, there has been a growing interest in leveraging the capabilities of generative AI for TDA. Therefore, we believe it is time to provide a comprehensive review of the progress and future prospects of TDA, with a particular emphasis on the trending generative AI. Specifically, we present an architectural view of the TDA pipeline, comprising three main procedures: pre-augmentation, augmentation, and post-augmentation. Pre-augmentation encompasses preparation tasks that facilitate subsequent TDA, including error handling, table annotation, table simplification, table representation, table indexing, table navigation, schema matching, and entity matching. Augmentation systematically analyzes current TDA methods, categorized into retrieval-based methods, which retrieve external data, and generation-based methods, which generate synthetic data. We further subdivide these methods based on the granularity of the augmentation process at the row, column, cell, and table levels. Post-augmentation focuses on the datasets, evaluation and optimization aspects of TDA. We also summarize current trends and future directions for TDA, highlighting promising opportunities in the era of generative AI. In addition, the accompanying papers and related resources are continuously updated and maintained in the GitHub repository at https://github.com/SuDIS-ZJU/awesome-tabular-data-augmentation to reflect ongoing advancements in the field.

研究の動機と目的

• 機械学習における表形式データ増強の範囲と重要性を定義する。
• 事前-, 増強-, 事後-の段階を含むTDAのアーキテクチャ的・パイプラインベースの視点を提案する。
• 行/列/セル/表というレベルベースの分類法と、タスク指向のTDA手法分類を開発する。
• 取得ベースと生成ベースのTDAアプローチを区別し、それぞれの長所と短所を要約する。
• 傾向、課題、今後の研究方向性を強調し、特に生成AIの時代に焦点を当てる。

提案手法

• TDAパイプラインのアーキテクチャ的視点を提示する：事前増強-, 増強、事後増強。
• 事前増強タスクを分類する（例：エラーハンドリング、表の注釈付け、表の簡略化、表の表現、インデックス付け、ナビゲーション、スキーマ整合性、エンティティ整合性）と事後増強の評価/最適化。
• TDAのレベルベース分類（行レベル、列レベル、セルレベル、表レベル）を導入し、オリジナル表と拡張表との正式な関係を定義する。
• 取得ベースTDA（テーブルプールを介したデータ駆動）と生成ベースTDA（合成データ）を区別し、それぞれのレベルでの適用を説明する。
• デュアルステージの増強アプローチ（表プールと生成モデル）を要約し、事後増強の評価ポリシーとデータセットを議論する。
• 生成AI技術（PLMs、LLMs、拡散モデル、VAE、GANs）をTDAワークフローに統合する道筋を提供する。

実験結果

リサーチクエスチョン

• RQ1 MLタスクのためのTDAパイプラインのコアコンポーネントとステージは何か。
• RQ2 TDA手法をレベル（行/列/セル/表）と取得対生成のパラダイムで体系的に分類するにはどうすればよいか。
• RQ3 普及している事前増強、増強、事後増強技術とそれらのトレードオフは何か。
• RQ4 生成AIはTDAをどう変革しており、この分野の将来の方向性と課題は何か。
• RQ5 TDAの品質と機械学習性能への影響を評価するのに適したデータセット、評価ポリシー、最適化戦略は何か。

主な発見

• TDAは機械学習のための表データの希少性と品質の問題を克服するための不可欠なアプローチである。
• 3段階のTDAパイプライン（事前-, 増強-, 事後-）はプロセスの統一的な見方を提供する。
• レベルベースの分類法（行、列、セル、表）は増強タスクの細粒度分類を可能にする。
• 取得ベースと生成ベースのTDAは補完的な戦略をカバーし、複数のレベルで適用できる。
• GenAIの動向（PLMs、LLMs、拡散モデル、VAE、GANs）はTDAパイプラインにますます統合されている。
• 本論文はTDAに関連する方法とデータセットを継続的に更新するGitHubリソースを提供している。