[論文レビュー] MET: Masked Encoding for Tabular Data

Kushal Majmundar, Sachin Goyal+2 more|arXiv (Cornell University)|Jun 17, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

METは、座標固有の表現と敵対的再構成損失を用いて、データ拡張を不要にする、再構成に基づく自己教師あり学習手法を提案する。この手法は、5つの多様な表形式データセットにおいて、従来手法よりも最大9%の下流分類精度向上を達成し、最先端性能を実現した。

ABSTRACT

We consider the task of self-supervised representation learning (SSL) for tabular data: tabular-SSL. Typical contrastive learning based SSL methods require instance-wise data augmentations which are difficult to design for unstructured tabular data. Existing tabular-SSL methods design such augmentations in a relatively ad-hoc fashion and can fail to capture the underlying data manifold. Instead of augmentations based approaches for tabular-SSL, we propose a new reconstruction based method, called Masked Encoding for Tabular Data (MET), that does not require augmentations. MET is based on the popular MAE approach for vision-SSL [He et al., 2021] and uses two key ideas: (i) since each coordinate in a tabular dataset has a distinct meaning, we need to use separate representations for all coordinates, and (ii) using an adversarial reconstruction loss in addition to the standard one. Empirical results on five diverse tabular datasets show that MET achieves a new state of the art (SOTA) on all of these datasets and improves up to 9% over current SOTA methods. We shed more light on the working of MET via experiments on carefully designed simple datasets.

研究の動機と目的

• 自己教師あり学習における非構造的表形式データの有効なデータ拡張を設計する課題に対処すること。
• 対照的学習に依存しない、表形式SSLの再構成に基づく代替手法を開発すること。
• 座標固有の埋め込みと敵対的訓練を活用して、表形式データの表現学習を向上させること。
• すべてのトークン表現をプーリングするのではなく連結することにより、表形式SSLにおける下流性能が向上することを示すこと。
• 再構成に基づく手法が非線形なデータ分布で線形分離可能な表現を学習できるかどうかを調査すること。

提案手法

• METは、表形式データのマスクされた特徴を再構成するためのトランスフォーマーベースのエンコーダ・デコーダアーキテクチャを用いる。
• 一部の特徴に対してマスキングを適用し、すべてのマスクされた座標に学習可能なマスクトークンを用い、各特徴に位置エンコーディングを適用する。
• 平均プーリングの代わりに、すべての特徴の表現を連結することで、下流のファインチューニングに用いる。これにより、座標固有の情報を保持する。
• 入力空間における勾配上昇法を実行することで、モデルのロバストネスを向上させる敵対的再構成損失を導入する。
• 標準的なマスク再構成損失と敵対的再構成損失の組み合わせを用いて、エンドツーエンドでモデルを訓練する。
• インスタンスレベルのデータ拡張を回避し、再構成と敵対的正則化にのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 再構成に基づくアプローチは、表形式自己教師あり表現学習において、対照的学習手法を上回ることができるか？
• RQ2 プーリングではなくすべてのトークン表現を連結することにより、表形式SSLにおける下流性能が向上するか？
• RQ3 再構成損失の入力空間における勾配上昇法による敵対的訓練は、表形式データにおけるモデル一般化を改善できるか？
• RQ4 なぜ再構成に基づく手法は、非線形なデータ分布でさえも線形分離可能な表現を学習できるのか？
• RQ5 METは、DACL、SubTab、VIMEといった既存の最先端手法と比較して、多様な表形式ベンチマークでどのように性能を発揮するか？

主な発見

• METは5つの標準的な表形式データセットにおいて、従来の最先端手法よりも平均精度を3.2%向上させ、新たな最先端性能を達成した。
• FMNISTおよびCovTypeデータセットでは、それぞれ90.94%および74.12%の下流精度を達成し、ベースライン手法を上回った。
• ラベル付きデータの20%のみを用いて訓練したMETは、一部のデータセットでは全ラベル付きデータセットを用いた教師あり学習の性能に達した。
• 各特徴ごとに別々のマスクトークンを用いることで、CovTypeのような異種データセットにおいて性能が向上（75.40% vs 74.12%）したが、メモリコストが増加した。
• マスクトークンをエンコーダを通過させると性能が低下し、計算コストも増加するため、デコーダへの直接入力が好ましいことが確認された。
• 単純な合成データセットにおける実験から、METの表現が非線形分離可能なデータを線形分離可能に変換することが示された。これは、より優れた分離性と一般化性能を示唆している。