[论文解读] HoloNets: Spectral Convolutions do extend to Directed Graphs

Christian Koke, Daniel Cremers|arXiv (Cornell University)|Oct 3, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出HoloNets，一种新颖的框架，通过摒弃对图傅里叶变换的依赖，将谱卷积扩展至有向图。利用复分析与谱理论的工具，该框架基于有向图上的响应算子构建可学习滤波器，实现了异质性节点分类任务的最先进性能，并展现出对拓扑扰动的鲁棒性。

ABSTRACT

Within the graph learning community, conventional wisdom dictates that spectral convolutional networks may only be deployed on undirected graphs: Only there could the existence of a well-defined graph Fourier transform be guaranteed, so that information may be translated between spatial- and spectral domains. Here we show this traditional reliance on the graph Fourier transform to be superfluous and -- making use of certain advanced tools from complex analysis and spectral theory -- extend spectral convolutions to directed graphs. We provide a frequency-response interpretation of newly developed filters, investigate the influence of the basis used to express filters and discuss the interplay with characteristic operators on which networks are based. In order to thoroughly test the developed theory, we conduct experiments in real world settings, showcasing that directed spectral convolutional networks provide new state of the art results for heterophilic node classification on many datasets and -- as opposed to baselines -- may be rendered stable to resolution-scale varying topological perturbations.

研究动机与目标

• 解决谱图网络长期存在的局限性：由于需要定义良好的图傅里叶变换，谱图网络仅适用于无向图。
• 开发一种理论严谨的框架，用于在有向图上实现谱卷积，且不依赖自伴算子或特征分解。
• 研究基选择与特征算子在有向图滤波器设计中的作用。
• 在真实世界数据集上实证验证新框架，特别是在存在拓扑扰动的情境下。
• 在有向图上的异质性节点分类任务中，展示改进的泛化能力与稳定性。

提出的方法

• 用基于响应的谱框架替代传统的图傅里叶变换，使用复数 $ z $ 的响应算子 $ R_z(L) = (L - zI)^{-1} $。
• 将谱滤波器定义为响应函数，即使在非自伴算子上也能实现频率响应解释。
• 利用复分析与谱理论确保滤波器在有向图上的数学一致性与稳定性。
• 采用广义特征向量基或其他谱分解方式表达滤波器，并分析其对模型性能的影响。
• 引入图级别聚合方案 $ \Omega $，将节点特征整合为图级别表征。
• 将框架应用于真实世界分子图（QM7数据集），利用原子电荷与库仑权重定义节点与边权重。

实验结果

研究问题

• RQ1 能否在不依赖图傅里叶变换的前提下，有意义地将谱卷积扩展至有向图？
• RQ2 不同基选择与特征算子的选择如何影响有向图上谱滤波器的表达能力与稳定性？
• RQ3 拓扑扰动对模型性能有何影响？所提出的框架能否保持鲁棒性？
• RQ4 新框架能否在有向图上的异质性节点分类任务中实现最先进性能？
• RQ5 与现有谱方法和空间方法相比，基于响应的方法在稳定性与泛化能力方面表现如何？

主要发现

• HoloNets 在多个基准数据集（包括 QM7）上实现了异质性节点分类任务的新最先进性能。
• 该模型对分辨率尺度的拓扑扰动（如分子图中氢原子的偏移）表现出稳定性，而现有基线方法则不具备此特性。
• 实验结果表明，该框架能有效泛化至未见图，表现为在不同随机种子下性能保持一致。
• 基于响应的滤波器使非自伴算子上也能实现频率响应解释，验证了理论基础的合理性。
• 通过 $ \Omega $ 的聚合方式以及基于原子电荷的节点加权，可生成有效的图级别表征，尤其在粗粒度设置下表现优异。
• 在实践中，响应算子中选择 $ z = -1 $（即 $ R_{-1}(\Delta) = (\Delta + I)^{-1} $）可实现稳定且高效的滤波行为。