[論文レビュー] ReMasker: Imputing Tabular Data with Masked Autoencoding

Tianyu Du, Luca Melis+1 more|arXiv (Cornell University)|Sep 25, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

ReMasker は、訓練中にランダムに再マスクを行うことで表現学習を向上させる、表形式データの欠損値補完のための新しいマスク付き自己符号化手法を提案する。この手法は、特に高い欠損率下でも、最先端の手法を上回る補完の正確性と有用性を達成し、欠損のパターンに依存しない表現を学習する。これは、表形式データに対するマスクモデルの可能性を示している。

ABSTRACT

We present ReMasker, a new method of imputing missing values in tabular data by extending the masked autoencoding framework. Compared with prior work, ReMasker is both simple -- besides the missing values (i.e., naturally masked), we randomly ``re-mask'' another set of values, optimize the autoencoder by reconstructing this re-masked set, and apply the trained model to predict the missing values; and effective -- with extensive evaluation on benchmark datasets, we show that ReMasker performs on par with or outperforms state-of-the-art methods in terms of both imputation fidelity and utility under various missingness settings, while its performance advantage often increases with the ratio of missing data. We further explore theoretical justification for its effectiveness, showing that ReMasker tends to learn missingness-invariant representations of tabular data. Our findings indicate that masked modeling represents a promising direction for further research on tabular data imputation. The code is publicly available.

研究の動機と目的

• 複雑な欠損パターンを示す表形式データにおける高精度な補完の課題に対処すること。
• 完全な訓練データが利用できない状況下でも、多様な欠損メカニズムに一般化可能な手法を開発すること。
• 視覚や自然言語処理で成功を収めたマスク付き自己符号化が、表形式データの補完に効果的に適応可能かどうかを検討すること。
• 学習された特徴の欠損パターンに対する不変性を調査すること。
• 既存の判別型および生成型補完手法を上回る、シンプルだが効果的なフレームワークを提供すること。

提案手法

• ReMasker は、自然に欠損している値に加え、追加のランダムな再マスクステップを導入することで、マスク付き自己符号化フレームワークを拡張する。
• 自己注意メカニズムを用いて特徴間の依存関係をモデル化するトランスフォーマーに基づくアーキテクチャを採用する。
• 訓練中、再マスクされた値を再構築することで、頑健で高レベルの表現を学習するよう促進する。
• 同じ目的関数を用いて、学習済み表現を活用して元の欠損値を予測するようにモデルをファインチューニングする。
• 特定の欠損メカニズムを仮定せず、完全なデータが利用できない場合でも適用可能である。
• 訓練目的は再マスクされたデータセットにおける再構築損失を最適化することで、未観測の欠損パターンへの一般化を促進する。

実験結果

リサーチクエスチョン

• RQ1 既存の最先端手法と比較して、再マスクを組み込んだマスク付き自己符号化は、表形式データの補完性能を向上させることができるか？
• RQ2 完全なデータが利用できない状況下でも、ReMasker は高い欠損率下で効果的に一般化できるか？
• RQ3 ReMasker が学習する表現はどのようなものであり、それらは欠損パターンに対して不変であるか？
• RQ4 多様なベンチマークデータセットにおいて、ReMasker は判別型および生成型補完ベースラインと比較して、性能に優れているか？
• RQ5 再マスク戦略は、表形式データの複雑な特徴間相関を捉える能力を向上させることができるか？

主な発見

• ReMasker は、12のベンチマークデータセットおよびさまざまな欠損設定において、13の最先端の補完手法と同等またはそれ以上の性能を達成する。
• 欠損率が高くなるほど性能の優位性が顕著に増大し、特に70％の欠損率下で顕著な優位性を示す。
• 理論的および実験的分析により、ReMasker は欠損に依存しない表現を学習していることが示され、多様な欠損メカニズムに対して頑健であることが確認された。
• 特にデータが少ない状況下では、GANベースおよびVAEベースの手法を上回り、補完の正確性と下流タスクの有用性の両面で優れた性能を発揮する。
• 再マスク戦略により、モデルが低レベルの統計にとどまらず、高レベルのパターンに一般化する能力が向上する。
• 完全なデータが訓練中に利用できない状況でも有効であるため、限られたまたは不完全なデータしか得られない現実世界のシナリオに適している。