[论文解读] Graph Autoencoders with Deconvolutional Networks

Jia Li, Tomas Yu+4 more|arXiv (Cornell University)|Dec 22, 2020

Advanced Graph Neural Networks参考文献 56被引用 5

一句话总结

该论文提出了一种对称图自编码器框架，利用图去卷积网络（GDNs）从图卷积网络（GCNs）学习到的平滑节点表示中重建出准确的图信号。通过结合谱高通滤波与基于小波的去噪技术，该方法有效逆转了GCN的平滑效应，在无监督图表示学习、噪声环境下的社交推荐以及图生成任务中均取得了最先进性能。

ABSTRACT

Recent studies have indicated that Graph Convolutional Networks (GCNs) act as a \emph{low pass} filter in spectral domain and encode smoothed node representations. In this paper, we consider their opposite, namely Graph Deconvolutional Networks (GDNs) that reconstruct graph signals from smoothed node representations. We motivate the design of Graph Deconvolutional Networks via a combination of inverse filters in spectral domain and de-noising layers in wavelet domain, as the inverse operation results in a \emph{high pass} filter and may amplify the noise. Based on the proposed GDN, we further propose a graph autoencoder framework that first encodes smoothed graph representations with GCN and then decodes accurate graph signals with GDN. We demonstrate the effectiveness of the proposed method on several tasks including unsupervised graph-level representation , social recommendation and graph generation

研究动机与目标

• 为解决图结构化数据缺乏有效的去卷积操作这一问题，而此类操作对于对称自编码器框架至关重要。
• 克服图信号去卷积的病态性问题，即在频域中逆运算会放大噪声。
• 通过使图自编码器能够从GCN编码的平滑表示中准确重建原始图信号，从而提升其性能。
• 提升在无监督图级别表示学习、噪声评分下的社交推荐以及图生成任务中的表现。
• 为图去卷积网络（GDNs）提供一种基于谱域与小波域信号处理的合理设计，使其成为GCNs的逆操作。

提出的方法

• 提出图去卷积网络（GDNs）作为GCNs的逆操作，利用频域中的高通滤波器来逆转GCNs的平滑效应。
• 采用带有高通滤波器的谱图卷积，从潜在表示中重建信号，模拟频域中的逆滤波。
• 在频域重建后引入基于小波的去噪模块，以缓解噪声放大问题，其灵感来源于混合谱-小波信号处理方法。
• 利用Maclaurin级数近似高效计算高通滤波器与小波核，避免显式特征分解。
• 设计对称图自编码器框架：GCN用于编码（平滑化），GDN用于解码（重建），与基于CNN的自编码器相呼应。
• 将该框架应用于三项任务——无监督图级别表示学习、社交推荐与图生成，采用共享编码器与任务特定解码器。

实验结果

研究问题

• RQ1 图去卷积能否被有效形式化为图卷积的逆操作？其在不进行显式特征分解的情况下如何实现？
• RQ2 在从平滑表示中重建图信号时，如何缓解频域去卷积中的噪声放大问题？
• RQ3 与现有方法相比，采用GDNs的对称图自编码器在无监督图表示学习中的性能提升程度如何？
• RQ4 所提出的基于GDNs的自编码器是否能增强在用户-项目交互存在噪声情况下的社交推荐鲁棒性？
• RQ5 在如VGAE和Graphite等变分自编码器框架中，GDNs能否提升生成图的质量？

主要发现

• 所提出的GAE框架在无监督图分类任务中达到最先进性能，其准确率与训练速度均优于先前方法。
• 在社交推荐任务中，该方法的RMSE与最先进模型（如GC-MC）相当，且在Ciao和Douban数据集上分别实现0.61%与1.25%的内列表相似度（ILS）提升，表明推荐结果更具多样性。
• 在噪声评分条件下（p > 0），该模型在Ciao数据集上比GC-MC低0.04的RMSE，在Douban数据集上比sRGCNN低0.014的RMSE，表现出强大的鲁棒性。
• 在图生成任务中，GDN使VGAE在PTC-MR数据集上的AUC提升19.4%，使Graphite在MUTAG数据集上的AP提升4.9%，表明在不同架构中均具有一致的性能增益。
• 在ZINC数据集上，VGAE生成图的对数似然提升5.4%（从-1.156提升至-1.114），证实了结构保真度的增强。
• 小波去噪步骤至关重要：若省略该步骤，频域去卷积中的噪声放大将导致性能下降，验证了混合谱-小波设计的有效性。