[论文解读] Network Signatures from Image Representation of Adjacency Matrices: Deep/Transfer Learning for Subgraph Classification

Kshiteesh Hegde, Malik Magdon‐Ismail+2 more|arXiv (Cornell University)|Apr 17, 2018

Complex Network Analysis Techniques参考文献 16被引用 5

一句话总结

本文提出了一种新颖的基于图像的图邻接矩阵表示方法，通过深度学习与迁移学习实现高精度子图分类。通过将排列不变的邻接矩阵转换为结构化的二维图像，该方法即使在训练数据极少的情况下，也能以超过90%的准确率从少量子图中识别出父网络，并成功将预训练图像模型的知识迁移至图领域，对数据稀缺具有强鲁棒性。

ABSTRACT

We propose a novel subgraph image representation for classification of network fragments with the targets being their parent networks. The graph image representation is based on 2D image embeddings of adjacency matrices. We use this image representation in two modes. First, as the input to a machine learning algorithm. Second, as the input to a pure transfer learner. Our conclusions from several datasets are that (a) deep learning using our structured image features performs the best compared to benchmark graph kernel and classical features based methods; and, (b) pure transfer learning works effectively with minimum interference from the user and is robust against small data.

研究动机与目标

• 解决在训练数据稀缺的情况下，通过识别其父网络来对子图进行分类的挑战。
• 探讨是否可以通过邻接矩阵的结构化图像嵌入，将图分类有效重构为图像分类问题。
• 评估从预训练图像模型（例如，ImageNet 上的 Caffe）迁移学习在完全无关领域（图分类）中的有效性。
• 评估该方法在低数据场景下以及不同子图大小下的鲁棒性。
• 对比基于图像的方法与传统图核方法及基于特征的方法的性能。

提出的方法

• 使用 Wu 等人（2016）提出的方法构建排列不变的邻接矩阵，确保节点重排下结构一致性。
• 将邻接矩阵转换为二维图像表示，其中每个像素对应一条边（1）或非边（0），形成无损图像嵌入。
• 直接对结构化图像嵌入应用深度神经网络，实现端到端的子图分类。
• 使用在 ImageNet 上预训练的 Caffe 模型作为黑箱迁移学习器，将图像嵌入输入该模型以获得类别概率向量。
• 使用基于距离的启发式方法（例如，Jaccard 距离）和 K-近邻算法，将 Caffe 输出向量映射到源网络域以进行分类。
• 在标签向量空间中对 K-近邻采用多数表决规则，为每个子图分配最终的网络标签。

实验结果

研究问题

• RQ1 结构化的邻接矩阵图像表示是否能在子图分类中超越传统图核方法与基于特征的方法？
• RQ2 从预训练图像分类器（例如，ImageNet 上的 Caffe）迁移学习在完全无关领域（如网络子图分类）中的有效性程度如何？
• RQ3 该方法在小规模训练数据下，特别是在恐怖主义网络或引用网络等现实世界网络中常见的低数据场景下，表现如何？
• RQ4 当子图极小时（例如，8–16 个节点），该方法的性能是否会显著下降？
• RQ5 在迁移学习设置中，K-近邻中的 K 值选择如何影响分类准确率？

主要发现

• 所提出的基于图像的表示方法在从 64 个节点的子图中分类父网络时，准确率超过 90%，即使父网络包含多达一百万个节点。
• 在主题相似的网络对之间（例如，Wikipedia 与 Web）进行成对分类，准确率达到 94.57%；其他网络对的准确率为 80–90%。
• 使用迁移学习进行多类分类的准确率为 61%，表明尽管类别数量增加，该方法仍具备可行性。
• 即使仅使用 10% 的训练数据，迁移学习方法依然保持稳健，显示出对数据稀缺的强适应能力。
• 当 K > 15 时，K-近邻步骤的性能保持稳定，表明该方法对邻域大小的敏感性在达到阈值后显著降低。
• 该方法优于基准图核方法与经典基于特征的方法，确立了图像表示作为图分类输入的优越性。