[论文解读] Hybrid Micro/Macro Level Convolution for Heterogeneous Graph Learning

Le Yu, Leilei Sun+4 more|arXiv (Cornell University)|Dec 29, 2020

Advanced Graph Neural Networks参考文献 37被引用 8

一句话总结

本文提出HGConv，一种新颖的异构图卷积方法，通过联合建模关系内节点重要性与关系间差异，结合微观和宏观层次的卷积操作来学习节点表示。该方法在节点分类、聚类和链接预测任务上实现了最先进性能，并通过学习到的注意力分数提供了直观的可解释性。

ABSTRACT

Heterogeneous graphs are pervasive in practical scenarios, where each graph consists of multiple types of nodes and edges. Representation learning on heterogeneous graphs aims to obtain low-dimensional node representations that could preserve both node attributes and relation information. However, most of the existing graph convolution approaches were designed for homogeneous graphs, and therefore cannot handle heterogeneous graphs. Some recent methods designed for heterogeneous graphs are also faced with several issues, including the insufficient utilization of heterogeneous properties, structural information loss, and lack of interpretability. In this paper, we propose HGConv, a novel Heterogeneous Graph Convolution approach, to learn comprehensive node representations on heterogeneous graphs with a hybrid micro/macro level convolutional operation. Different from existing methods, HGConv could perform convolutions on the intrinsic structure of heterogeneous graphs directly at both micro and macro levels: A micro-level convolution to learn the importance of nodes within the same relation, and a macro-level convolution to distinguish the subtle difference across different relations. The hybrid strategy enables HGConv to fully leverage heterogeneous information with proper interpretability. Moreover, a weighted residual connection is designed to aggregate both inherent attributes and neighbor information of the focal node adaptively. Extensive experiments on various tasks demonstrate not only the superiority of HGConv over existing methods, but also the intuitive interpretability of our approach for graph analysis.

研究动机与目标

• 为解决现有图卷积方法在处理异构图时存在的局限性，包括异构属性利用不充分和结构信息丢失问题。
• 克服先前异构图学习方法缺乏可解释性且依赖人工设计的问题。
• 开发一个统一框架，直接在异构图的内在结构上实现微观和宏观层次的卷积操作。
• 通过加权残差连接实现节点特征与邻居信息的自适应聚合。
• 提供一种能学习多层次表示且具备内在可解释性的模型，以支持下游图分析任务。

提出的方法

• HGConv采用混合卷积策略：微观层次卷积使用类型特定的变换矩阵和注意力向量，在同一关系内学习节点重要性。
• 宏观层次卷积使用关系类型特定的变换矩阵和共享注意力向量，区分不同关系之间的差异。
• 通过加权残差连接将节点特征与邻居信息融合，实现自适应融合。
• 在微观和宏观两个层次均使用注意力机制，根据邻居与中心节点的相关性分配重要性分数。
• 架构支持多层堆叠与残差连接，实现深层表示学习且避免过拟合。
• 该方法端到端可训练，旨在同时保留节点特征与关系结构信息。

实验结果

研究问题

• RQ1 混合微观/宏观层次卷积策略是否能有效捕捉异构图中的异构信息？
• RQ2 所提出方法在节点分类、聚类和链接预测任务上的性能与现有方法相比如何？
• RQ3 HGConv中的注意力分数在多大程度上能为图分析提供直观且有意义的可解释性？
• RQ4 与使用随机游走等启发式策略的方法相比，该模型的架构是否能更好地保留结构信息？
• RQ5 加权残差连接是否能有效平衡表示学习中节点特征与邻居信息的贡献？

主要发现

• HGConv在多个基准数据集（包括ACM-3、DBLP和IMDB）上的节点分类、聚类和链接预测任务中均实现了最先进性能。
• 模型性能随层数增加而提升，直至某一临界点后出现过拟合，表明存在最优的表示学习深度。
• 增加注意力头数量可提升性能，直至某一阈值（如4个或以上），之后性能趋于稳定，表明中等头数已具备足够表达能力。
• 最优节点表示维度在64至256之间，其中64被选为最佳设置；更高维度下性能因过拟合而下降。
• 微观层次卷积成功识别出关系内更相关的节点——例如，基于学习到的注意力分数，识别出关键作者和主题相关关键词。
• 宏观层次卷积自动学习关系重要性，对更具信息量的关系（如$PAP$元路径中的$AP$）赋予更高注意力，与实际性能提升一致。