[论文解读] Harmonic analysis on directed graphs and applications: from Fourier analysis to wavelets

Harry Sevi, Gabriel Rilling+1 more|arXiv (Cornell University)|Nov 28, 2018

Neural Networks and Applications被引用 4

一句话总结

该论文提出了一种基于随机游走算子特征向量作为非正交傅里叶基的有向图新型谐波分析框架，通过狄氏能量和特征值实部实现频率解释。该方法将扩散小波推广至有向图，支持冗余与临界采样小波变换，并在政治博客等有向图上的半监督学习与信号建模任务中表现出色。

ABSTRACT

We introduce a novel harmonic analysis for functions defined on the vertices of a strongly connected directed graph of which the random walk operator is the cornerstone. As a first step, we consider the set of eigenvectors of the random walk operator as a non-orthogonal Fourier-type basis for functions over directed graphs. We found a frequency interpretation by linking the variation of the eigenvectors of the random walk operator obtained from their Dirichlet energy to the real part of their associated eigenvalues. From this Fourier basis, we can proceed further and build multi-scale analyses on directed graphs. We propose both a redundant wavelet transform and a decimated wavelet transform by extending the diffusion wavelets framework by Coifman and Maggioni for directed graphs. The development of our harmonic analysis on directed graphs thus leads us to consider both semi-supervised learning problems and signal modeling problems on graphs applied to directed graphs highlighting the efficiency of our framework.

研究动机与目标

• 为有向图上的函数发展一种类傅里叶分析方法，其中由于非对称性，传统图拉普拉斯算子失效。
• 通过将随机游走算子特征向量的变异性（基于狄氏能量）与特征值实部关联，解决有向图中缺乏一致频率解释的问题。
• 通过将扩散小波框架推广至非对称算子，将多尺度分析（小波）推广至有向图。
• 在实际应用中展示所提框架的实用性，如在真实有向网络上的半监督学习与图信号建模。
• 建立有向图图信号处理的基础，保留无向图分析的关键特性，包括频率解释与多分辨率分析。

提出的方法

• 在强连通有向图上使用随机游走算子作为核心参考算子，替代对称图拉普拉斯算子。
• 通过将随机游走算子每个特征向量的狄氏能量与对应特征值的实部关联，定义频率解释。
• 从随机游走算子的特征向量构造非正交傅里叶基，实现在有向图上的谱分析。
• 通过将扩散小波框架推广至有向图并使用热核滤波器，开发冗余与临界采样小波变换。
• 使用热核实现合成滤波器组：$\mathbf{H}_j = e^{-\mathcal{L}t_j}$，其中 $t_j = 2^j$，带通滤波器 $\mathbf{G}_j = \mathbf{H}_{j-1} - \mathbf{H}_j$。
• 通过 $\ell_1$-正则化小波系数优化实现半监督学习：$\boldsymbol{w}^* = \arg\min \|\tilde{\mathbf{y}} - \mathbf{X}\mathbf{w}\|_2^2 + \lambda\|\mathbf{w}\|_1$，其中 $\mathbf{X} = \mathbf{M}\mathbf{K}$。

Figure 1: Eigenvalue distribution of the random walk matrix of a directed toroidal graph $\mathcal{T}_{6,4}$ . Eigenvalues on the dotted green line: $\mathfrak{Re}(\lambda^{g})=-0.25,\forall\lambda^{g}\in\boldsymbol{\Lambda}_{g}$ . Eigenvalues on the dotted orange line: $\mathfrak{Re}(\lambda^{o})=0

实验结果

研究问题

• RQ1 在缺乏对称拉普拉斯算子的情况下，能否为有向图上的函数建立一致的频率解释？
• RQ2 如何利用有向图上随机游走算子的特征向量定义有意义的类傅里叶基？
• RQ3 扩散小波框架在多大程度上可推广至有向图上的非对称算子？
• RQ4 所提出的谐波分析框架在有向图上的半监督学习任务中是否优于现有方法？
• RQ5 小波表示的稀疏性在有向图上的信号恢复与标记任务中对性能有何影响？

主要发现

• 有向图上随机游走算子特征向量的狄氏能量与对应特征值实部相关，从而实现频率解释。
• 随机游走算子的特征向量构成有向图上函数的非正交类傅里叶基，将经典傅里叶分析推广至有向结构。
• 通过使用热核滤波器将扩散小波框架推广至有向图，成功构建了冗余与临界采样小波变换。
• 在美利坚政治博客网络上，使用冗余小波系数的 $\ell_1$-正则化半监督学习方法在性能上与 $\ell_2$-正则化方法相当。
• 尽管小波的空间局部化能力有限，$\ell_1$-方法仍表现出色，表明若采用更优局部化的小波变换，性能有望进一步提升。
• 该框架在真实有向网络（如美国政治博客图）上得到验证，展示了其在不同标签比例下的实际相关性与鲁棒性。

Figure 3: Semi-supervised learning on $\mathcal{G}^{\prime}$ of the political blogs of the 2004 US presidential campaign. The notations $\operatorname{L_{norm}}$ and $\operatorname{L_{norm,sym}}$ correspond respectively to $\mathcal{L}$ and $\mathcal{L}_{\operatorname{sym}}$ .