[論文レビュー] ReConTab: Regularized Contrastive Representation Learning for Tabular Data

Suiyao Chen, Jing Wu+2 more|arXiv (Cornell University)|Oct 28, 2023

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

ReConTab は、自己教師あり・半教師あり対照学習を用いた transformer ベースの正則化オートエンコーダを導入し、下流の分類器を強化し、従来モデルのプラグアンドプレイ機能として利用できる堅牢な表形式埋め込みを抽出します。

ABSTRACT

Representation learning stands as one of the critical machine learning techniques across various domains. Through the acquisition of high-quality features, pre-trained embeddings significantly reduce input space redundancy, benefiting downstream pattern recognition tasks such as classification, regression, or detection. Nonetheless, in the domain of tabular data, feature engineering and selection still heavily rely on manual intervention, leading to time-consuming processes and necessitating domain expertise. In response to this challenge, we introduce ReConTab, a deep automatic representation learning framework with regularized contrastive learning. Agnostic to any type of modeling task, ReConTab constructs an asymmetric autoencoder based on the same raw features from model inputs, producing low-dimensional representative embeddings. Specifically, regularization techniques are applied for raw feature selection. Meanwhile, ReConTab leverages contrastive learning to distill the most pertinent information for downstream tasks. Experiments conducted on extensive real-world datasets substantiate the framework's capacity to yield substantial and robust performance improvements. Furthermore, we empirically demonstrate that pre-trained embeddings can seamlessly integrate as easily adaptable features, enhancing the performance of various traditional methods such as XGBoost and Random Forest.

研究の動機と目的

• 表形式データの自動特徴量エンジニアリングを促進し、手動による特徴量選択・エンジニアリングを減らす。
• 生の表形式特徴量から低次元でタスクに依存しない埋め込みを出力する、トランスフォーマーベースの非対称オートエンコーダを開発する。
• 正則化と対照学習を組み込み、下流タスクのための顕著な情報を蒸留する。
• 事前学習済み埋め込みが従来モデル（例：XGBoost、Random Forest）を改善し、プラグアンドプレイ特徴量として機能することを示す。

提案手法

• ロバストで非冗長な表現を促進する入力ウェイト正則化を備えた非対称オートエンコーダアーキテクチャを提案する。
• 不変性と頑健な埋め込み学習を促進するデータ拡張技法として特徴の破損を適用する。
• 破損した入力に対する自己教師付き再構成損失を用いてエンコーダとデコーダを訓練する。
• 同 label のペアを揃え、異なるラベルのペアを分離する対照損失と分類損失を追加して半教師あり学習へ拡張する。
• 下流タスクで事前学習済みエンコーダをエンドツーエンドで微調整する、または蒸留された埋め込みを元の特徴量と結合してプラグアンドプレイ入力とする。

実験結果

リサーチクエスチョン

• RQ1 正則化された対照表現学習は表形式データの埋め込みの品質と頑健性を改善できるか？
• RQ2 ReConTab の事前学習済み埋め込みは従来の分類器の性能を高め、プラグアンドプレイの改善を可能にするか？
• RQ3 特徴の破損を用いたデータ拡張と半教師あり対照学習が、多様な表形式データセットにおける下流タスクの性能にどのように影響するか。

主な発見

• ReConTab は、多様な表形式データセットに対して深層学習ベースラインを大幅に上回る性能改善を達成する。
• 事前学習済み埋め込みは、特にプラグアンドプレイ特徴量として用いた場合、XGBoost、Random Forest、LightGBM など従来モデルの性能を大幅に向上させる可能性がある。
• 自 己教師付き・半教師付き学習と正則化・対照損失を組み合わせた学習は、分類タスクに適した堅牢な表現を生み出す。
• アブレーション研究では、破損比率がおよそ0.3付近で一般に強い性能を示し、データセットに依存して変動する。
• このフレームワークは二値および多クラス分類タスクの両方で競争力を維持し、いくつかのデータセットで深層学習ベース手法の中で最良クラスの結果を示す。