[论文解读] Collective Vertex Classification Using Recursive Neural Network

Qiongkai Xu, Qing Wang+2 more|arXiv (Cornell University)|Jan 24, 2017

Advanced Graph Neural Networks参考文献 15被引用 10

一句话总结

本文提出了一种基于图的递归神经网络（GRNN）框架，用于集体顶点分类，通过树状结构递归利用顶点属性和邻近顶点的聚合表示。该方法在长短期记忆单元（LSTM）设置下优于最先进基线模型，尤其在WebKB-sim数据集上使用85%训练数据时，F1得分最高达到87.73%。

ABSTRACT

Collective classification of vertices is a task of assigning categories to each vertex in a graph based on both vertex attributes and link structure. Nevertheless, some existing approaches do not use the features of neighbouring vertices properly, due to the noise introduced by these features. In this paper, we propose a graph-based recursive neural network framework for collective vertex classification. In this framework, we generate hidden representations from both attributes of vertices and representations of neighbouring vertices via recursive neural networks. Under this framework, we explore two types of recursive neural units, naive recursive neural unit and long short-term memory unit. We have conducted experiments on four real-world network datasets. The experimental results show that our frame- work with long short-term memory model achieves better results and outperforms several competitive baseline methods.

研究动机与目标

• 为解决集体顶点分类中邻近顶点特征噪声问题，通过学习鲁棒表示而非直接使用原始属性。
• 开发一种可处理任意图结构（包括有环图）的递归神经网络框架，通过将其转换为局部构建的树结构实现。
• 评估不同递归神经单元（朴素递归单元与LSTM单元）对顶点分类性能的影响。
• 证明融合邻居的结构化表示可提升分类准确率，超越传统方法。

提出的方法

• 针对每个待分类顶点，从目标顶点开始，逐层构建搜索树，包含其邻居，直至深度d。
• 在构建的树上建立递归神经网络，其中每个节点的隐藏表示由其自身特征和子节点的隐藏状态计算得出。
• 评估两种递归单元：朴素递归神经单元（NRU）和长短期记忆单元（LSTMU），二者均设计用于分层聚合信息。
• 采用池化策略——平均池化、最大池化和求和池化——以组合子节点表示，其中最大池化在噪声过滤方面表现更优。
• 框架采用递归计算：$ h_v = \text{RNN}(x_v, \text{pool}(\{h_u \mid u \in \text{children}(v)\})) $，其中 $ x_v $ 为顶点 $ v $ 的特征向量。
• 使用交叉熵损失端到端训练模型，通过根节点隐藏状态上的最终分类头生成预测。

实验结果

研究问题

• RQ1 能否通过将图转换为树结构，使递归神经网络框架在任意图上有效建模集体顶点分类？
• RQ2 使用邻近顶点的学得表示是否优于直接使用原始邻居属性或标签进行分类任务？
• RQ3 在捕捉图中结构依赖关系方面，不同递归神经单元（朴素RNN与LSTM）的表现如何比较？
• RQ4 池化策略（平均、最大、求和）对聚合邻居表示及最终分类性能有何影响？
• RQ5 该模型在具有不同标签相关性模式的数据集（如Cora、Citeseer、WebKB和WebKB-sim）上的表现如何？

主要发现

• G-LSTM_d2模型在使用85%训练数据的WebKB-sim数据集上取得了87.73%的最高Micro-F1得分，优于所有基线模型。
• 在Cora和Citeseer数据集上，G-LSTM_d2分别取得了86.21%和87.58%的Micro-F1得分，超过ICA和LP，后者在WebKB上表现不佳。
• 最大池化优于平均池化和求和池化，可能因其能通过选择最具影响力的表示来有效过滤噪声。
• G-LSTM_d2模型始终优于G-NRNN_d2，尤其在训练比例超过80%时，表明LSTM在捕捉长距离依赖方面更具优势。
• 标签共现分析显示Cora和Citeseer中存在强标签相关性（最多至d=2），解释了为何集体方法在此类数据上表现良好，而WebKB的弱相关性导致LP失效。
• 该框架在WebKB上表现出强鲁棒性，其中LP表现差（Micro-F1 < 0.7），而GRNN取得了具有竞争力的结果，凸显其对噪声标签结构的抗性。