[论文解读] Data-Centric Learning from Unlabeled Graphs with Diffusion Model

Gang Liu, Eric Inae+4 more|arXiv (Cornell University)|Mar 17, 2023

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出一种数据中心框架 DCT，利用在无标签图上预训练的扩散模型，从无标签图中生成针对特定任务的、带标签的图数据增强。通过在反向去噪过程中引入两项任务特定目标——标签保持与结构多样性，该方法从无标签数据中迁移最小且足够的知识，在15项任务上均优于自监督学习和数据增强基线方法。

ABSTRACT

Graph property prediction tasks are important and numerous. While each task offers a small size of labeled examples, unlabeled graphs have been collected from various sources and at a large scale. A conventional approach is training a model with the unlabeled graphs on self-supervised tasks and then fine-tuning the model on the prediction tasks. However, the self-supervised task knowledge could not be aligned or sometimes conflicted with what the predictions needed. In this paper, we propose to extract the knowledge underlying the large set of unlabeled graphs as a specific set of useful data points to augment each property prediction model. We use a diffusion model to fully utilize the unlabeled graphs and design two new objectives to guide the model's denoising process with each task's labeled data to generate task-specific graph examples and their labels. Experiments demonstrate that our data-centric approach performs significantly better than fifteen existing various methods on fifteen tasks. The performance improvement brought by unlabeled data is visible as the generated labeled examples unlike the self-supervised learning.

研究动机与目标

• 解决自监督预训练目标与下游图属性预测任务之间的不匹配问题，后者常导致知识迁移效果不佳。
• 克服图自监督学习的局限性，例如对与某些预测任务无关的结构基元（如芳香环）产生过拟合。
• 通过提取最小且任务相关的知识，而非依赖固定通用的自监督目标，有效利用大规模无标签图数据。
• 开发一种数据中心方法，生成可解释的、合成的带标签图，以增强训练数据，提升模型泛化能力与性能。
• 通过避免基于模型参数的知识迁移，而采用数据级增强，实现与任意图神经网络架构的灵活集成。

提出的方法

• 在大规模无标签图集合上训练基于得分的扩散模型，以学习底层数据分布。
• 推理过程中，通过添加噪声对目标任务中的带标签图进行几步扰动，以启动反向去噪过程。
• 在得分函数中引入两项任务特定目标：(1) 通过分类器头保留原始图的预测标签；(2) 通过最小化与原始图的相似性，最大化多样性。
• 利用引导后的得分函数生成新的、合成的带标签图，其在结构上多样化，同时语义上与目标任务保持一致。
• 将这些生成的图加入下游训练集，以提升任意图属性预测器的性能。
• 确保生成样本具有可解释性，并保留来自无标签数据的最小且足够的知识，避免不可解释的参数更新。

(a) Existing approach : Knowledge from self-supervised tasks could not be aligned or even conflict with what predictions need. Parameter initialization could hardly interpret how unlabeled graphs were or would be able to improve the models, leading to high prediction errors.

实验结果

研究问题

• RQ1 能否在不依赖自监督预训练的前提下，有效将无标签图中的知识迁移到下游图属性预测任务中？
• RQ2 通过任务特定目标引导扩散模型的反向过程，是否能实现比标准自监督或数据增强方法更好的泛化性能？
• RQ3 生成的合成图是否能在保持可解释性的同时，提升模型性能，并避免与下游任务语义产生冲突？
• RQ4 与自监督学习和自训练相比，该数据中心方法在性能和数据利用效率方面表现如何？
• RQ5 该框架在仅使用少量标注数据的情况下，能否在多样化的图属性预测任务中实现良好泛化？

主要发现

• 所提出的 DCT 框架在15项多样化的图属性预测任务中，显著优于15种现有方法，包括自监督学习与图数据增强方法。
• 通过生成的合成图，无标签数据带来的性能提升是可见且可解释的，而自监督学习中的参数更新则不可解释。
• 该方法在多个数据集上均实现一致的性能提升，表明其对不同图结构和属性类型具有鲁棒性。
• 两阶段目标（标签保持与结构多样性）有效平衡了对目标任务的保真度与对未见图的泛化能力。
• 该框架可与任意图神经网络架构灵活集成，因其在数据层面操作，而非修改模型参数。
• 结果表明，当自监督目标与下游任务不匹配时，通过数据增强实现的知识迁移比基于参数的迁移更有效。

(b) Data-centric approach : Target knowledge in labeled graphs guides the denoising process in diffusion model to generate new labeled examples close to the target graph space instead of the unlabeled graph space. The augmented knowledge for the prediction model is visible as graphs.