[论文解读] Handling Missing Data with Graph Representation Learning

Jiaxuan You, Xiaobai Ma+3 more|arXiv (Cornell University)|Oct 30, 2020

Advanced Graph Neural Networks参考文献 64被引用 94

一句话总结

Grape 使用二分图表示和图神经网络来同时执行缺失数据的特征插补与标签预测，在九个 UCI 数据集上实现显著的 MAE 提升。

ABSTRACT

Machine learning with missing data has been approached in two different ways, including feature imputation where missing feature values are estimated based on observed values, and label prediction where downstream labels are learned directly from incomplete data. However, existing imputation models tend to have strong prior assumptions and cannot learn from downstream tasks, while models targeting label prediction often involve heuristics and can encounter scalability issues. Here we propose GRAPE, a graph-based framework for feature imputation as well as label prediction. GRAPE tackles the missing data problem using a graph representation, where the observations and features are viewed as two types of nodes in a bipartite graph, and the observed feature values as edges. Under the GRAPE framework, the feature imputation is formulated as an edge-level prediction task and the label prediction as a node-level prediction task. These tasks are then solved with Graph Neural Networks. Experimental results on nine benchmark datasets show that GRAPE yields 20% lower mean absolute error for imputation tasks and 10% lower for label prediction tasks, compared with existing state-of-the-art methods.

研究动机与目标

• 阐明缺失数据问题及以往插补和标签预测方法的局限性。
• 提出一个通用的基于图的框架（Grape），能够端到端地处理这两项任务。
• 证明将观测量和特征作为节点的二分图能够实现有效的插补和预测。
• 展示鲁棒性、对未见数据的泛化能力，以及在多个数据集上的可扩展性。

提出的方法

• 构建一个二分图，将观测值和特征作为节点类型，观测值作为边。
• 将特征插补表述为边级预测，将标签预测表述为图上的节点级预测。
• 开发受 GraphSAGE 启发的图神经网络架构，利用边嵌入和扩展的节点特征来处理二分图。
• 在训练中引入边 dropout，以降低过拟合并提升对未见边的泛化能力。
• 使用端到端训练来同时优化 O_edge（插补）和 O_node（预测）两个组件。

实验结果

研究问题

• RQ1 与最先进方法相比，基于图的表示是否能提升缺失特征的插补质量？
• RQ2 在缺失数据下，端到端的基于 GNN 的学习是否能同时提升特征插补和下游标签预测？
• RQ3 边 dropout 与增强的二分图特征是否能提升对未见数据和观测的泛化能力？
• RQ4 Grape 是否能扩展到具有大量特征的数据集，并具备跨数据集迁移知识的能力？
• RQ5 Grape 在基准数据集上不同缺失数据比例下的表现如何？

主要发现

• 在 30% 缺失数据时，Grape 在九个 UCI 数据集上实现了约 20% 的特征插补 MAE 下降和约 10% 的标签预测 MAE 下降。
• 边 dropout 在平均层面上使插补任务的 MAE 降低约 33%。
• 端到端训练在大多数情况下将下游预测的 MAE 提升约 19%。
• Grape 在无需再训练的情况下对未见观测具有良好的泛化能力，相较基线约提升 21% 的 MAE。
• Grape 在不同缺失数据比例下保持稳健的性能，并支持可扩展的二分图学习。