[论文解读] Building Graph Representations of Deep Vector Embeddings

Dario García-Gasulla, Armand Vilalta+6 more|arXiv (Cornell University)|Jul 24, 2017

Advanced Graph Neural Networks参考文献 19被引用 4

一句话总结

本文提出了一种新颖的方法，将深度卷积神经网络（CNN）嵌入表示转换为拓扑图结构，从而能够在图像数据上应用图分析技术——尤其是社区检测。通过利用全网络嵌入（full-network embeddings）进行空间池化、标准化和离散化，该方法构建了一个图结构，其中节点代表图像和特征，边则编码语义和结构关系。主要结果表明，在该图上应用FluidC社区检测算法，在基准数据集上实现了中等到较高的NMI（最高0.54）和AMI（最高0.46）分数，证明了通过图拓扑从深度表示中提取语义上合理的聚类是可行的。

ABSTRACT

Patterns stored within pre-trained deep neural networks compose large and powerful descriptive languages that can be used for many different purposes. Typically, deep network representations are implemented within vector embedding spaces, which enables the use of traditional machine learning algorithms on top of them. In this short paper we propose the construction of a graph embedding space instead, introducing a methodology to transform the knowledge coded within a deep convolutional network into a topological space (i.e. a network). We outline how such graph can hold data instances, data features, relations between instances and features, and relations among features. Finally, we introduce some preliminary experiments to illustrate how the resultant graph embedding space can be exploited through graph analytics algorithms.

研究动机与目标

• 探索深度神经网络表示是否可被有效建模为拓扑图，以支持新型分析方法。
• 开发一种构建图嵌入空间的方法，以捕捉预训练CNN中的图像、特征及其相互关系。
• 评估基于图的算法（如社区检测）是否能从深度嵌入中提取出有意义且语义一致的聚类。
• 证明图表示的嵌入可支持超越传统基于向量方法的替代学习范式。

提出的方法

• 该方法使用全网络嵌入（FNE），聚合预训练CNN（如VGG16）所有卷积层和全连接层的激活值。
• 对卷积层输出应用空间平均池化，以降低维度并统一各层的特征表示。
• 特征标准化对各层神经元激活进行归一化，防止输出层高激活神经元占据主导。
• 离散化通过固定阈值（-0.25, 0.15）将每个特征映射为-1、0或1，以减少噪声并正则化嵌入空间。
• 构建图结构，其中图像实例和特征作为节点，边根据嵌入空间中的共激活模式形成。
• 使用FluidC社区检测算法分析图结构，基于拓扑连通性识别节点的紧密群组。

实验结果

研究问题

• RQ1 能否将深度神经网络嵌入有效转换为保留语义和结构关系的拓扑图结构？
• RQ2 当应用于此类图表示时，图分析算法（如社区检测）在图像数据中识别有意义聚类的能力如何？
• RQ3 基于图的表示是否能发现与传统向量空间聚类方法（如K-means）结果有显著差异的聚类？
• RQ4 使用全网络嵌入作为输入时，基于图的聚类在图像数据集上的性能如何？

主要发现

• 图表示成功地将图像实例、特征及其相互关系编码为单一拓扑结构。
• 在flowers102数据集上，FluidC社区检测算法实现了0.54的标准化互信息（NMI）分数，表明与真实标签具有强一致性。
• 在mit67数据集上，NMI得分为0.44，AMI为0.36，表明在多样化图像类别中表现一致但中等。
• 在textures数据集上，NMI为0.42，AMI为0.37，表明该方法在不同视觉领域具有泛化能力。
• 在wood数据集上表现较低（NMI 0.26，AMI 0.20），可能由于类别不平衡或嵌入空间中判别信号较弱。
• 结果表明，基于图的深度嵌入分析可无需依赖距离度量即可发现语义上合理的聚类，凸显了一种独特的学习范式。