[논문 리뷰] Embeddings for Tabular Data: A Survey

Rajat Singh, Srikanta Bedathur|arXiv (Cornell University)|2023. 02. 23.

Data Quality and Management인용 수 4

한 줄 요약

이 종합적 서베이는 표 형태 데이터를 위한 표현 학습 기법에 대한 포괄적인 개요를 제공하며, 표가 어떻게 시각화되는지에 따라 기법을 분류한다—이미지, 그래프, 텍스트, 또는 네이티브 표 형식으로. 이는 이질적인 특성과 종속성 처리의 핵심 과제를 규명하고, Table-to-SQL, 메타데이터 예측, 수식 생성 등의 작업에서 최신 기법들을 평가하며, 대규모 데이터셋에서 딥 러닝의 우월성을 강조한다.

ABSTRACT

Tabular data comprising rows (samples) with the same set of columns (attributes, is one of the most widely used data-type among various industries, including financial services, health care, research, retail, and logistics, to name a few. Tables are becoming the natural way of storing data among various industries and academia. The data stored in these tables serve as an essential source of information for making various decisions. As computational power and internet connectivity increase, the data stored by these companies grow exponentially, and not only do the databases become vast and challenging to maintain and operate, but the quantity of database tasks also increases. Thus a new line of research work has been started, which applies various learning techniques to support various database tasks for such large and complex tables. In this work, we split the quest of learning on tabular data into two phases: The Classical Learning Phase and The Modern Machine Learning Phase. The classical learning phase consists of the models such as SVMs, linear and logistic regression, and tree-based methods. These models are best suited for small-size tables. However, the number of tasks these models can address is limited to classification and regression. In contrast, the Modern Machine Learning Phase contains models that use deep learning for learning latent space representation of table entities. The objective of this survey is to scrutinize the varied approaches used by practitioners to learn representation for the structured data, and to compare their efficacy.

연구 동기 및 목표

• 표 형태 데이터의 분산 표현(임bedding)을 학습하는 기존 접근법을 체계화하고 분류하는 것.
• 표 형태 데이터가 유발하는 고유한 과제—이질적인 특성, 열 간 종속성, 데이터 희소성—를 규명하고 분석하는 것.
• Table-to-SQL, 메타데이터 예측, 수식 생성과 같은 특정 표 형태 데이터 작업에 기계 학습 기법을 매핑하는 것.
• 기준 데이터셋과 그들이 표 형태 표현 모델 학습 및 평가에 기여하는 방식을 체계적으로 개괄하는 것.
• 전통적인 기계 학습 모델과 현대적인 딥 러닝 접근법을 스케일러빌리티, 해석 가능성, 구조화된 데이터에서의 성능 측면에서 비교하는 것.

제안 방법

• 표가 어떻게 시각화되는지에 따라 표 표현 기법을 분류하는 것: 이미지, 그래프, 자연어 시퀀스, 또는 네이티브 표 구조로.
• 모델을 네 가지 주요 유형으로 분류하는 것: 이미지 기반(표를 픽셀 격자로 간주), 그래프 기반(표 구조를 그래프로 모델링), 텍스트 기반(표를 토큰 시퀀스로 인코딩), 네이티브 표 모델(표 형식을 직접 처리).
• 이중 단계 프레임워크 적용: 고전적 학습 단계(SVM, 로지스틱 회귀, 트리 기반 모델)와 현대 기계 학습 단계(엔드 투 엔드 표현 학습을 위한 딥 네URAL 네트워크).
• 주목적 메커니즘과 사전 학습 전략(예: TaBERT 및 TURL에서 사용)을 적용하여 열 수준의 의미와 엔티티 간 관계를 포착하는 것.
• 가시성 행렬과 토큰 연결(예: 셀 값 + 열 유형)을 사용하여 순서 기반 모델에서 열 유형과 표 구조를 모델링하는 것.
• SPIDER(표-SQL용), 위키백과 표(표 질문 응답 및 SP용), WikiSQL(의미적 파싱 및 검색용)와 같은 표준 벤치마크에서 모델 평가

실험 결과

연구 질문

• RQ1 이미지, 그래프, 텍스트, 네이티브 표와 같은 다양한 시각화 파라다임이 표 형태 표현 모델의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ2 대규모 또는 복잡한 표 형태 데이터에 적용했을 때 고전적 기계 학습 모델(SVM, 트리 기반 모델 등)의 주요 제약은 무엇인가?
• RQ3 딥 러닝 모델이 Table-to-SQL 파싱, 수식 예측, 메타데이터 탐지와 같은 후행 작업에서 성능을 얼마나 향상시키는가?
• RQ4 모델 아키텍처는 표 형태 데이터의 이질적인 특성 유형(수치형, 범주형, 텍스트)을 어떻게 다루며, 이를 공통 임베딩 공간에 통합하기 위해 어떤 기법을 사용하는가?
• RQ5 실제 세계의 표 형태 데이터 과제를 가장 잘 반영하는 기준 데이터셋은 무엇이며, 이러한 데이터셋은 표현 학습 기법 평가에 어떻게 기여하는가?

주요 결과

• 엔드 투 엔드 학습과 복잡한 특성 상호작용이 필요한 경우, 딥 러닝 모델이 고전적 모델보다 대규모 표 형태 데이터셋에서 뛰어난 성능을 보인다.
• 이미지 기반 및 그래프 기반 모델은 Table-to-SQL 및 관계 탐지와 같은 구조적 이해가 필요한 작업에서 뛰어난 성능을 보이지만, 장거리 종속성에는 어려움을 겪을 수 있다.
• TaBERT 및 TURL과 같은 텍스트 기반 모델은 주목적 메커니즘을 활용해 표 내용과 열 메타데이터를 동시에 인코딩함으로써 의미적 파싱 작업에서 최신 기술 성능을 달성한다.
• SPIDER 데이터셋은 자연어 질문 10,181개와 해당하는 SQL 쿼리 5,693개를 포함하여 Table-to-SQL 모델 평가에 핵심 기준이 되며, 표 형태 데이터에서 자연어 기반의 중요성을 부각시킨다.
• 위키백과 표는 주변 텍스트가 포함된 160만 개의 표를 포함하여, 표 표현 모델 학습 및 평가를 위한 가장 큰 공개 가능 데이터셋 중 하나이다.
• 이질적인 표 형태 데이터(예: Arrhythmia, 이미지 모odal이 추가된 MNIST)는 동질적인 데이터보다 더 큰 과제를 야기하며, 효과적인 표현 학습을 위해 다중 모odal 임베딩 전략이 필요하다.