[论文解读] MIRACLE: Causally-Aware Imputation via Learning Missing Data Mechanisms

Trent Kyono, Yao Zhang+2 more|arXiv (Cornell University)|Nov 4, 2021

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

MIRACLE 是一种因果感知的填补框架，通过迭代学习缺失图（m-图）并正则化预测以使其与缺失变量的因果父母一致，从而改进任何基线填补方法。它在所有缺失机制（随机缺失、完全随机缺失和非随机缺失）下，均一致地提升合成数据集和真实世界数据集的填补性能，且不会降低基线性能。

ABSTRACT

Missing data is an important problem in machine learning practice. Starting from the premise that imputation methods should preserve the causal structure of the data, we develop a regularization scheme that encourages any baseline imputation method to be causally consistent with the underlying data generating mechanism. Our proposal is a causally-aware imputation algorithm (MIRACLE). MIRACLE iteratively refines the imputation of a baseline by simultaneously modeling the missingness generating mechanism, encouraging imputation to be consistent with the causal structure of the data. We conduct extensive experiments on synthetic and a variety of publicly available datasets to show that MIRACLE is able to consistently improve imputation over a variety of benchmark methods across all three missingness scenarios: at random, completely at random, and not at random.

研究动机与目标

• 为解决缺失数据引入的虚假相关性问题，这些相关性可能扭曲下游推理和模型性能。
• 开发一种通用框架，通过强制与潜在数据生成过程的因果一致性，来提升任何基线填补方法。
• 通过因果图（m-图）显式建模缺失机制，以指导填补并减少由观测数据依赖性带来的偏差。
• 确保在所有三种缺失机制下具备鲁棒性：随机缺失（MAR）、完全随机缺失（MCAR）和非随机缺失（MNAR）。
• 证明通过 MIRACLE 实现的因果感知填补能持续提升性能，且不会降低基线结果。

提出的方法

• MIRACLE 作为一个精炼框架，应用于任何现有填补方法，通过迭代学习的 m-图 逐步改进预测。
• 它学习一个缺失图（m-图），以编码变量之间的条件独立性和因果关系，使用自举填补循环实现。
• 应用两部分正则化：一部分基于因果图结构，以确保预测仅依赖于因果父母；另一部分基于缺失指示变量的矩正则化。
• 该框架将填补问题形式化为鲁棒优化问题，最小化在缺失指示变量干预下的最坏情况预测误差。
• m-图 被嵌入神经网络的输入层，支持基于梯度的端到端训练。
• 在多个训练周期内执行迭代精炼，通过 RMSE 监控性能，并在多个数据集上观察到收敛。

实验结果

研究问题

• RQ1 因果感知填补框架是否能在所有三种缺失机制（MAR、MCAR 和 MNAR）下提升性能，且不降低基线结果？
• RQ2 通过 m-图 学习缺失生成机制，与标准填补方法相比，对填补准确率有何影响？
• RQ3 MIRACLE 的性能在多大程度上依赖于所学习因果图的稀疏性和准确性？
• RQ4 即使基线填补器的初始性能各不相同，MIRACLE 的精炼过程是否能一致地在实例层面降低误差？
• RQ5 MIRACLE 是否能通过强制因果一致性，提升通常被视为弱基线的均值填补方法的性能？

主要发现

• MIRACLE 在合成数据集和真实世界数据集上，对六种基准填补方法的性能均有持续提升，且在任何场景下均无性能下降。
• 当所学习的 m-图 为缺失变量识别出一组稀疏的因果父母时，性能提升最大，表明因果特异性可增强改进效果。
• 当 m-图 因因果发现不佳而包含大量虚假边时，MIRACLE 的改进效果微弱，凸显了准确学习因果结构的重要性。
• 在鲍鱼数据集上，MIRACLE 将均值填补的性能提升至与更强基线相当的水平，展示了其提升弱填补器的能力。
• 样本级分析表明，MIRACLE 改进了绝大多数样本，且对已良好填补的样本误差膨胀极小。
• 收敛性分析确认，MIRACLE 的误差随训练周期逐渐降低，且改进曲线的斜率减小，表明其精炼过程稳定且逐步推进。