[论文解读] Imputation and low-rank estimation with Missing Not At Random data

Aude Sportisse, Claire Boyer+1 more|arXiv (Cornell University)|Dec 29, 2018

Tensor decomposition and applications参考文献 41被引用 4

一句话总结

本文提出了两种针对缺失非随机（MNAR）数据的新型矩阵补全方法，结合基于EM算法的模型估计与FISTA算法，以及一种计算高效的代理方法，该方法通过在拼接的数据-掩码矩阵上使用低秩结构，联合建模数据与缺失模式。该方法在MNAR机制下实现了稳健的插补与估计，已在包含创伤患者临床预测因子的临床创伤登记数据集中得到验证。

ABSTRACT

Missing values challenge data analysis because many supervised and unsupervised learning methods cannot be applied directly to incomplete data. Matrix completion based on low-rank assumptions are very powerful solution for dealing with missing values. However, existing methods do not consider the case of informative missing values which are widely encountered in practice. This paper proposes matrix completion methods to recover Missing Not At Random (MNAR) data. Our first contribution is to suggest a model-based estimation strategy by modelling the missing mechanism distribution. An EM algorithm is then implemented, involving a Fast Iterative Soft-Thresholding Algorithm (FISTA). Our second contribution is to suggest a computationally efficient surrogate estimation by implicitly taking into account the joint distribution of the data and the missing mechanism: the data matrix is concatenated with the mask coding for the missing values; a low-rank structure for exponential family is assumed on this new matrix, in order to encode links between variables and missing mechanisms. The methodology that has the great advantage of handling different missing value mechanisms is robust to model specification errors.The performances of our methods are assessed on the real data collected from a trauma registry (TraumaBase ) containing clinical information about over twenty thousand severely traumatized patients in France. The aim is then to predict if the doctors should administrate tranexomic acid to patients with traumatic brain injury, that would limit excessive bleeding.

研究动机与目标

• 解决矩阵补全中信息性缺失数据的挑战，其中缺失性依赖于未观测到的取值。
• 开发一种基于模型的估计策略，明确考虑低秩矩阵恢复中的缺失数据机制。
• 提出一种计算高效的代理方法，通过在数据-掩码扩展矩阵上假设低秩结构，隐式建模数据与缺失性的联合分布。
• 确保在存在MNAR机制时对模型误设的鲁棒性。
• 在真实世界临床数据上评估性能，以预测创伤性脑损伤患者使用氨甲环酸的情况。

提出的方法

• 使用EM算法结合基于模型的估计策略，通过在数据与掩码上进行逻辑回归，显式建模缺失机制。
• 在M步中采用FISTA（快速迭代软阈值化算法）进行核范数正则化的低秩矩阵估计。
• 引入一种代理方法，将数据矩阵与缺失值的二值掩码拼接，对指数族分布假设组合矩阵上的低秩结构。
• 通过SIR（序贯重要性重采样）进行重要性采样，以近似给定当前参数估计下缺失值的后验分布。
• 在M步中使用广义线性模型与二项分布链接函数，估计缺失机制参数，基于插补数据更新缺失模型。
• 在M步中采用类似软补全（soft-impute）的更新方式，求解带核范数惩罚的低秩矩阵估计问题。

实验结果

研究问题

• RQ1 在数据缺失非随机（MNAR）的情况下，结合FISTA的基于模型的EM方法是否能有效恢复低秩矩阵？
• RQ2 通过在数据-掩码拼接矩阵上采用数据与缺失性的联合低秩结构，是否能提升插补精度与鲁棒性？
• RQ3 与标准矩阵补全技术相比，所提方法在模型误设情况下的表现如何？
• RQ4 该方法是否能在具有信息性缺失的真实创伤数据中可靠预测临床结局（如氨甲环酸使用）？
• RQ5 不同缺失机制对MNAR环境下低秩矩阵补全性能有何影响？

主要发现

• 所提出的EM-FISTA方法通过显式建模缺失机制，在MNAR数据上的插补精度显著优于标准低秩方法。
• 代理方法将数据-掩码矩阵视为单一低秩对象，实现了具有更低计算成本的竞争力性能，并对模型误设表现出更强鲁棒性。
• 该方法在存在信息性缺失的情况下成功恢复了低秩结构，已在包含两万多名患者的TraumaBase®数据集中得到验证。
• 基于SIR的插补步骤有效近似了缺失值的后验分布，从而在EM算法中实现了稳定的参数更新。
• 使用具有二项分布链接的广义线性模型进行缺失机制建模，实现了灵活且可解释的MNAR机制估计。
• 实证结果表明，该方法在存在MNAR数据的情况下，显著提升了氨甲环酸使用这一临床相关结局的预测性能。