[论文解读] Unsupervised Network Embedding for Graph Visualization, Clustering and Classification

Leonardo Gutiérrez-Gómez, Jean‐Charles Delvenne|arXiv (Cornell University)|Feb 25, 2019

Complex Network Analysis Techniques参考文献 29被引用 4

一句话总结

本文提出了一种基于无监督深度自编码器的方法，用于学习整个图的低维向量嵌入，从而在嵌入空间中通过欧氏距离实现高效的图比较。该方法在聚类、分类和可视化任务中优于传统的图距离和图核方法，且运行速度显著更快，尤其在密集和大规模网络中表现更优。

ABSTRACT

A main challenge in mining network-based data is finding effective ways to represent or encode graph structures so that it can be efficiently exploited by machine learning algorithms. Several methods have focused in network representation at node/edge or substructure level. However, many real life challenges such as time-varying, multilayer, chemical compounds and brain networks involve analysis of a family of graphs instead of single one opening additional challenges in graph comparison and representation. Traditional approaches for learning representations relies on hand-crafting specialized heuristics to extract meaningful information about the graphs, e.g statistical properties, structural features, etc. as well as engineered graph distances to quantify dissimilarity between networks. In this work we provide an unsupervised approach to learn embedding representation for a collection of graphs so that it can be used in numerous graph mining tasks. By using an unsupervised neural network approach on input graphs, we aim to capture the underlying distribution of the data in order to discriminate between different class of networks. Our method is assessed empirically on synthetic and real life datasets and evaluated in three different tasks: graph clustering, visualization and classification. Results reveal that our method outperforms well known graph distances and graph-kernels in clustering and classification tasks, being highly efficient in runtime.

研究动机与目标

• 开发一种无监督神经网络方法，从一组网络中学习有意义的、低维的整个图表示。
• 通过将图映射到共享的欧氏特征空间，实现图之间的高效比较，其中结构相似性通过欧氏距离度量。
• 在图聚类、可视化和分类任务中超越现有的图距离和图核方法。
• 通过直接从数据中学习与任务相关的表示，减少对手工设计特征和领域特定启发式方法的依赖。
• 为谱方法和基于编辑的图相似性度量提供一种可扩展且计算高效的替代方案。

提出的方法

• 该方法采用深度自编码器（DAE）通过重构邻接矩阵，为每个输入图学习紧凑的低维嵌入。
• 编码器将每个图的邻接矩阵映射为 R^p 中的固定大小向量，捕捉全局结构模式。
• 解码器从嵌入中重构邻接矩阵，通过反向传播最小化重构误差。
• 图之间的相似性通过其学习到的嵌入之间的欧氏距离计算，实现在特征空间中的快速比较。
• 使用小批量随机梯度下降实现对图集合的高效训练。
• 该方法利用预计算的范数加速成对距离计算，尤其在稀疏图中效果显著。

实验结果

研究问题

• RQ1 无监督深度自编码器能否比手工设计的图距离更有效地捕捉图结构差异？
• RQ2 所提出的基于嵌入的方法在聚类和分类性能上与图核和谱距离相比如何？
• RQ3 该方法在不同图类型和规模下的计算效率可扩展性如何？
• RQ4 所学习的嵌入能否保留图之间的有意义结构关系，从而实现有效的可视化和聚类？
• RQ5 与忽略节点身份的方法相比，保留图间节点对应关系是否使该方法更具优势？

主要发现

• 在合成数据集和真实世界数据集上，该方法在聚类准确率方面优于所有基线图距离和图核方法。
• 在图分类任务中，该方法优于图核和谱距离，展现出学习判别性特征的能力。
• 该方法显著快于所有竞争对手，尤其是 CLP 和 NLP 等谱距离方法，后者因涉及特征值计算而计算开销巨大。
• 在密集网络中，该方法优于 Jaccard 和 Hamming 距离，后两者因边/顶点模式匹配而扩展性差。
• Deltacon 作为一种可扩展的图相似性度量，其在速度和准确率上均被本方法超越。
• 该方法的运行效率归因于嵌入空间中快速的欧氏距离计算以及高效的批量训练。