[논문 리뷰] Tabular Data Augmentation for Machine Learning: Progress and Prospects of Embracing Generative AI

Lingxi Cui, Huan Li외 3명|arXiv (Cornell University)|2024. 07. 31.

Computational Physics and Python Applications인용 수 10

한 줄 요약

ML용 표 형식 데이터 증강(TDA)에 대한 포괄적 조사로, 사전-, 증강-, 사후의 세 단계 파이프라인, 행/열/셀/테이블 수준의 계층적 분류 체계, 검색 기반 및 생성 기반 방법, 그리고 생성 AI 시대의 향후 방향을 상세히 다룬다.

ABSTRACT

Machine learning (ML) on tabular data is ubiquitous, yet obtaining abundant high-quality tabular data for model training remains a significant obstacle. Numerous works have focused on tabular data augmentation (TDA) to enhance the original table with additional data, thereby improving downstream ML tasks. Recently, there has been a growing interest in leveraging the capabilities of generative AI for TDA. Therefore, we believe it is time to provide a comprehensive review of the progress and future prospects of TDA, with a particular emphasis on the trending generative AI. Specifically, we present an architectural view of the TDA pipeline, comprising three main procedures: pre-augmentation, augmentation, and post-augmentation. Pre-augmentation encompasses preparation tasks that facilitate subsequent TDA, including error handling, table annotation, table simplification, table representation, table indexing, table navigation, schema matching, and entity matching. Augmentation systematically analyzes current TDA methods, categorized into retrieval-based methods, which retrieve external data, and generation-based methods, which generate synthetic data. We further subdivide these methods based on the granularity of the augmentation process at the row, column, cell, and table levels. Post-augmentation focuses on the datasets, evaluation and optimization aspects of TDA. We also summarize current trends and future directions for TDA, highlighting promising opportunities in the era of generative AI. In addition, the accompanying papers and related resources are continuously updated and maintained in the GitHub repository at https://github.com/SuDIS-ZJU/awesome-tabular-data-augmentation to reflect ongoing advancements in the field.

연구 동기 및 목표

• ML용 표 형식 데이터 증강의 범위와 중요성을 정의한다.
• 사전-, 증강-, 및 사후 단계들을 포함하는 TDA의 아키텍처적이고 파이프라인 기반 시각을 제안한다.
• 행, 열, 셀, 표 수준의 계층 기반 분류 체계와 작업 지향적 TDA 방법 분류를 개발한다.
• 검색 기반 TDA와 생성 기반 TDA 접근법을 구별하고 그 강점과 약점을 요약한다.
• 특히 생성 AI 시대에 대한 경향, 도전과제 및 향후 연구 방향을 조명한다.

제안 방법

• TDA 파이프라인의 아키텍처적 관점을 제시한다: 사전 증강, 증강, 사후 증강.
• 오류 처리, 표 주석, 표 단순화, 표 표현, 인덱싱, 탐색, 스키마 매칭, 엔티티 매칭 등 사전 증강 작업을 분류하고 사후 증강 평가/최적화를 분류한다.
• TDA의 수준 기반 분류 체계(row-, column-, cell-, table- 수준)를 도입하고 원래 표와 증강 표 간의 형식적 관계를 정의한다.
• 데이터 풀을 통한 데이터 주도적 검색 기반 TDA와 합성 데이터를 이용하는 생성 기반 TDA를 구별하고 각 수준에서의 적용을 설명한다.
• 표 풀과 생성 모델이라는 이중 단계 증강 접근법을 요약하고, 사후 증강을 위한 평가 정책과 데이터 세트를 논의한다.
• 생성 AI 기술들(PLMs, LLMs, diffusion 모델, VAE, GANs)을 TDA 워크플로에 통합하는 방향성을 제시한다.

실험 결과

연구 질문

• RQ1 TDA 파이프라인의 핵심 구성요소와 ML 작업을 위한 단계는 무엇인가?
• RQ2 TDA 방법을 행/열/셀/표 수준과 검색 대 생성 패러다임으로 체계적으로 분류할 수 있는가?
• RQ3 주요 사전 증강, 증강, 사후 증강 기법과 그 트레이드오프는 무엇인가?
• RQ4 생성 AI가 TDA를 어떻게 재구성하고 있으며 이 분야의 향후 방향과 도전과제는 무엇인가?
• RQ5 TDA 품질과 ML 성능에 대한 영향 평가를 위한 데이터 세트, 평가 정책, 최적화 전략은 무엇인가?

주요 결과

• TDA는 ML용 표 형식 데이터의 부족 및 품질 문제를 극복하는 필수적 접근 방식이다.
• 사전-증강-증강-사후의 3단계 TDA 파이프라인은 프로세스에 대한 통일된 시각을 제공한다.
• 행/열/셀/표 수준의 계층 기반 분류 체계는 증강 작업을 세밀하게 분류 가능하게 한다.
• 검색 기반과 생성 기반 TDA는 상호 보완적 전략을 다루며 여러 수준에서 적용될 수 있다.
• GenAI 트렌드(PLMs, LLMs, 확산 모델, VAE, GANs)가 TDA 파이프라인에 점차 통합되고 있다.
• 논문은 TDA를 위한 관련 방법 및 데이터 세트를 지속적으로 업데이트하는 GitHub 리소스를 제공한다.