[论文解读] ReMasker: Imputing Tabular Data with Masked Autoencoding

Tianyu Du, Luca Melis+1 more|arXiv (Cornell University)|Sep 25, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

ReMasker 提出了一种新颖的表格数据填充方法，通过在训练过程中对随机值重新遮蔽，以改进表征学习。该方法在填充保真度和实用性方面优于当前最先进方法，尤其在高缺失数据比例下表现更优，并能学习到对缺失模式不敏感的表征，展示了掩码建模在表格数据中的潜力。

ABSTRACT

We present ReMasker, a new method of imputing missing values in tabular data by extending the masked autoencoding framework. Compared with prior work, ReMasker is both simple -- besides the missing values (i.e., naturally masked), we randomly ``re-mask'' another set of values, optimize the autoencoder by reconstructing this re-masked set, and apply the trained model to predict the missing values; and effective -- with extensive evaluation on benchmark datasets, we show that ReMasker performs on par with or outperforms state-of-the-art methods in terms of both imputation fidelity and utility under various missingness settings, while its performance advantage often increases with the ratio of missing data. We further explore theoretical justification for its effectiveness, showing that ReMasker tends to learn missingness-invariant representations of tabular data. Our findings indicate that masked modeling represents a promising direction for further research on tabular data imputation. The code is publicly available.

研究动机与目标

• 解决具有复杂缺失模式的表格数据中高保真度填充的挑战。
• 开发一种无需完整训练数据即可在多种缺失机制下泛化的填充方法。
• 探究在视觉和自然语言处理中表现成功的掩码自编码技术是否可有效适配于表格数据填充。
• 研究所学习表征对缺失数据模式的不变性。
• 提供一种简单但高效的框架，优于现有判别式和生成式填充方法。

提出的方法

• ReMasker 通过在自然缺失值之外引入第二个随机重遮蔽步骤，扩展了掩码自编码框架。
• 采用基于 Transformer 的架构，通过自注意力机制建模特征间依赖关系。
• 在训练过程中，模型重建重遮蔽的值，从而鼓励学习到稳健的高层表征。
• 通过相同的优化目标对模型进行微调，以预测原始缺失值，利用所学表征。
• 该方法不假设特定的缺失机制，即使在缺乏完整数据时也适用。
• 训练目标优化重遮蔽数据集上的重建损失，促进对未见缺失模式的泛化能力。

实验结果

研究问题

• RQ1 与现有最先进方法相比，带有重遮蔽的掩码自编码是否能提升表格数据的填充性能？
• RQ2 当完整数据不可用时，ReMasker 在高缺失数据比例下是否仍能有效泛化？
• RQ3 ReMasker 学习到的表征类型是什么？它们是否对缺失模式具有不变性？
• RQ4 在多种基准数据集上，ReMasker 与判别式和生成式填充基线相比性能如何？
• RQ5 重遮蔽策略是否能增强模型捕捉表格数据复杂特征间相关性的能力？

主要发现

• 在 12 个基准数据集的多种缺失设置下，ReMasker 在性能上与或优于 13 种最先进填充方法。
• 其性能优势在高缺失数据比例下显著提升，尤其在 70% 缺失率时表现突出。
• 通过理论和实证分析表明，模型学习到了对缺失模式不敏感的表征，使其对多样化的缺失机制具有鲁棒性。
• 在填充保真度和下游任务实用性方面，ReMasker 均优于基于 GAN 和 VAE 的方法，尤其在低数据场景下表现更优。
• 重遮蔽策略通过促使模型超越低水平统计特征，学习更高层次模式，从而增强表征学习能力。
• 即使在训练阶段缺乏完整数据，该方法依然有效，适用于现实世界中数据有限或不完整的场景。