[论文解读] Cross-GCN: Enhancing Graph Convolutional Network with $k$-Order Feature Interactions

Fuli Feng, Xiangnan He+2 more|arXiv (Cornell University)|Mar 5, 2020

Advanced Graph Neural Networks参考文献 54被引用 7

一句话总结

该论文提出Cross-GCN，一种图卷积网络，通过一种新颖的交叉特征图卷积算子显式建模k阶特征交互，实现特征维度和阶数规模的线性复杂度。该方法在保持效率的同时，通过增强特征转换显著提升了节点分类性能，尤其在低阶特征稀疏的图上表现更优。

ABSTRACT

Graph Convolutional Network (GCN) is an emerging technique that performs learning and reasoning on graph data. It operates feature learning on the graph structure, through aggregating the features of the neighbor nodes to obtain the embedding of each target node. Owing to the strong representation power, recent research shows that GCN achieves state-of-the-art performance on several tasks such as recommendation and linked document classification. Despite its effectiveness, we argue that existing designs of GCN forgo modeling cross features, making GCN less effective for tasks or data where cross features are important. Although neural network can approximate any continuous function, including the multiplication operator for modeling feature crosses, it can be rather inefficient to do so (i.e., wasting many parameters at the risk of overfitting) if there is no explicit design. To this end, we design a new operator named Cross-feature Graph Convolution, which explicitly models the arbitrary-order cross features with complexity linear to feature dimension and order size. We term our proposed architecture as Cross-GCN, and conduct experiments on three graphs to validate its effectiveness. Extensive analysis validates the utility of explicitly modeling cross features in GCN, especially for feature learning at lower layers.

研究动机与目标

• 为解决现有GCN在捕捉交叉特征方面的局限性，而交叉特征对推荐和分类等任务至关重要。
• 设计一种高效的特征转换模块，显式建模任意阶特征交互，同时避免过度参数化。
• 开发一种新型GCN架构——Cross-GCN，将交叉特征建模整合到图卷积层中，以提升表征学习能力。
• 在多个图数据集上验证交叉特征建模的有效性，尤其是在低阶特征学习中的表现。
• 证明显式交叉特征学习相比仅依赖标准GCN中的非线性激活函数，能带来更优性能。

提出的方法

• 引入交叉特征图卷积算子，通过结构化且参数高效的机制计算k阶特征交互。
• 采用递归交互机制，将输入特征与前序层的输出相结合，逐步构建更高阶交互。
• 使用加权求和聚合函数，结合不同阶数的特征交互，其中权重可学习，实现自适应融合。
• 设计的特征转换模块在特征维度D和交互阶数k上均呈线性扩展，避免了CIN等先前方法的O(D²)开销。
• 堆叠多个交叉特征图卷积层，构建Cross-GCN，实现具有显式交叉特征建模能力的深度表征学习。
• 在引文网络和社会网络的节点分类任务中应用该架构，采用标准GCN式消息传递机制，但增强特征转换能力。

实验结果

研究问题

• RQ1 显式建模k阶特征交互是否能提升图卷积网络在节点分类任务中的性能？
• RQ2 引入交叉特征后，表征学习（尤其是GCN的低层）受到何种影响？
• RQ3 所提出的交叉特征图卷积算子在支持高阶特征交互的同时是否保持高效性？
• RQ4 在哪些场景下——尤其是稀疏或低阶特征下——Cross-GCN相较于标准GCN展现出最显著的性能提升？
• RQ5 在参数效率和性能方面，Cross-GCN与CIN或CrossNet等现有交叉特征建模技术相比如何？

主要发现

• Cross-GCN在使用交叉特征训练时，测试准确率显著高于标准GCN，证明了显式交叉特征建模的价值。
• 性能提升在低阶特征稀疏的图中最为显著，表明交叉特征学习在该类场景下尤为有益。
• 所提出的交叉特征图卷积算子在特征维度D和交互阶数k上均实现线性复杂度，优于CIN等O(D²)方法，在可扩展性方面表现更优。
• 实证结果表明，交叉特征学习带来的性能提升在GCN的早期层最为显著，说明交叉特征在低阶表征学习中最为有效。
• 即使仅使用原始特征，Cross-GCN也优于标准GCN，表明增强的特征转换模块提升了泛化能力，而不仅限于特征工程。
• 消融实验确认，性能提升源于对交叉特征的显式建模，而非仅因额外参数带来的模型容量增加。