[논문 리뷰] ReConTab: Regularized Contrastive Representation Learning for Tabular Data

Suiyao Chen, Jing Wu외 2명|arXiv (Cornell University)|2023. 10. 28.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

ReConTab은 트랜스포머 기반의 정규화된 오토인코더를 이용한 자기- 및 준지도 대조 학습으로 강건한 표 형 데이터 임베딩을 추출하고, 이를 통해 다운스트림 분류기를 향상시키며 기존 모델에 대한 플러그앤플레이 피처로 사용할 수 있습니다.

ABSTRACT

Representation learning stands as one of the critical machine learning techniques across various domains. Through the acquisition of high-quality features, pre-trained embeddings significantly reduce input space redundancy, benefiting downstream pattern recognition tasks such as classification, regression, or detection. Nonetheless, in the domain of tabular data, feature engineering and selection still heavily rely on manual intervention, leading to time-consuming processes and necessitating domain expertise. In response to this challenge, we introduce ReConTab, a deep automatic representation learning framework with regularized contrastive learning. Agnostic to any type of modeling task, ReConTab constructs an asymmetric autoencoder based on the same raw features from model inputs, producing low-dimensional representative embeddings. Specifically, regularization techniques are applied for raw feature selection. Meanwhile, ReConTab leverages contrastive learning to distill the most pertinent information for downstream tasks. Experiments conducted on extensive real-world datasets substantiate the framework's capacity to yield substantial and robust performance improvements. Furthermore, we empirically demonstrate that pre-trained embeddings can seamlessly integrate as easily adaptable features, enhancing the performance of various traditional methods such as XGBoost and Random Forest.

연구 동기 및 목표

• 표 형 데이터에 대한 자동 특징 엔지니어링의 동기를 제시하여 수동 특징 선택 및 엔지니어링을 줄인다.
• 원시 표형 특징으로부터 저차원이고 작업-무관한 임베딩을 산출하는 트랜스포머 기반 비대칭 오토인코더를 개발한다.
• 정규화 및 대조 학습을 적용하여 다운스트림 작업에 중요한 정보를 추출한다.
• 사전 학습된 임베딩이 전통 모델(예: XGBoost, Random Forest)의 성능을 향상시키고 플러그앤플레이 피처로 작동할 수 있음을 보여준다.

제안 방법

• 강건하고 중복되지 않는 표현을 촉진하기 위해 입력 가중치 정규화를 가진 비대칭 오토인코더 아키텍처를 제안한다.
• 일부 특징 손상을 데이터 증강 기법으로 적용하여 불변성과 강건한 임베딩 학습을 촉진한다.
• 손상된 입력에 대한 자기지도 재구성 손실을 사용하여 인코더와 디코더를 학습시킨다.
• 레이블이 같은 쌍은 임베딩을 맞추고 다른 레이블의 쌍은 분리하도록 분류 손실과 대조 손실을 추가하여 준지도 학습으로 확장한다.
• 다운스트림 작업에 대해 사전 학습된 인코더를 엔드투엔드로 미세조정하고/또는 추출된 임베딩을 원래 특징과 연결하여 플러그앤플레이 입력으로 사용할 수 있다.

실험 결과

연구 질문

• RQ1 정규화된 대조 표현 학습이 표 형 데이터의 임베딩 품질과 강건성을 향상시킬 수 있는가?
• RQ2 ReConTab의 사전 학습 임베딩이 전통 분류기의 성능을 향상시키고 플러그앤플레이 개선을 가능하게 하는가?
• RQ3 손상 기반 데이터 증강과 준지도 대조 학습이 다양한 표 형 데이터셋에서 다운스트림 작업 성능에 어떤 영향을 미치는가?

주요 결과

• ReConTab은 다양한 표 형 데이터셋에서 딥러닝 기준선에 비해 상당한 성능 향상을 달성한다.
• 사전 학습된 임베딩은 특히 플러그앤플레이 피처로 사용될 때 XGBoost, Random Forest, LightGBM과 같은 전통 모델의 성능을 크게 향상시킬 수 있다.
• 정규화 및 대조 손실을 포함한 자기- 및 준지도 학습은 분류 작업에 적합한 강건한 표현을 얻는다.
• 소거 연구는 일반적으로 약 0.3의 손상 비율이 강력한 성능을 제공함을 시사하며, 데이터셋에 따라 차이가 있다.
• 이 프레임워크는 이진 및 다중 클래스 분류 작업에서 경쟁력을 유지하며, 일부 데이터셋은 딥러닝 기반 방법 가운데 최고 성능을 보인다.