[论文解读] Graph Convolution with Low-rank Learnable Local Filters

Xiuyuan Cheng, Zichen Miao+1 more|arXiv (Cornell University)|Aug 4, 2020

Human Pose and Action Recognition参考文献 58被引用 5

一句话总结

该论文提出L3Net，一种新颖的图卷积模型，采用可学习的低秩局部滤波器，统一了谱图卷积与空间图卷积。通过将图滤波器分解为可训练的局部基和系数，并引入局部图拉普拉斯正则化，L3Net在捕捉局部特征方面表现出更高的表达能力与对图噪声的鲁棒性，在球面网格、面部关键点和基于骨架的动作识别任务中表现优于现有方法，且在扰动下具有更高的稳定性。

ABSTRACT

Geometric variations like rotation, scaling, and viewpoint changes pose a significant challenge to visual understanding. One common solution is to directly model certain intrinsic structures, e.g., using landmarks. However, it then becomes non-trivial to build effective deep models, especially when the underlying non-Euclidean grid is irregular and coarse. Recent deep models using graph convolutions provide an appropriate framework to handle such non-Euclidean data, but many of them, particularly those based on global graph Laplacians, lack expressiveness to capture local features required for representation of signals lying on the non-Euclidean grid. The current paper introduces a new type of graph convolution with learnable low-rank local filters, which is provably more expressive than previous spectral graph convolution methods. The model also provides a unified framework for both spectral and spatial graph convolutions. To improve model robustness, regularization by local graph Laplacians is introduced. The representation stability against input graph data perturbation is theoretically proved, making use of the graph filter locality and the local graph regularization. Experiments on spherical mesh data, real-world facial expression recognition/skeleton-based action recognition data, and data with simulated graph noise show the empirical advantage of the proposed model.

研究动机与目标

• 为解决谱图卷积在捕捉不规则、粗粒度非欧几里得网格上的局部特征时表达能力有限的问题。
• 开发一种统一框架，整合谱图卷积与空间图卷积方法。
• 提升模型对图数据扰动（如噪声或缺失关键点）的鲁棒性。
• 通过Lipschitz型分析，理论上证明在输入图扰动下表示的稳定性。
• 在真实世界与模拟数据上，通过实证验证模型在多种图噪声类型下的优越性能。

提出的方法

• L3Net采用图滤波器的低秩分解，将其表示为可学习的局部基矩阵与系数，实现局部化、自适应的特征学习。
• 模型使用基于张量的线性映射组合可学习的局部滤波器，实现灵活且富有表现力的图信号处理。
• 引入局部图拉普拉斯作为正则化方案，以稳定表示对图拓扑变化和噪声的敏感性。
• 理论分析证明，L3Net在表达能力上严格优于基于全图拉普拉斯的全局谱图卷积方法。
• 该框架可泛化现有模型：当参数设置特定时，ChebNet、GAT、EdgeNet和低秩CNN均为其特例。
• 扰动分析建立了Lipschitz型稳定性，确保对输入图数据变化（如节点排列和缺失边）的鲁棒性。

实验结果

研究问题

• RQ1 低秩局部滤波器分解是否能提升图卷积的表达能力，超越传统谱方法？
• RQ2 局部图正则化如何增强基于关键点数据对图噪声的鲁棒性？
• RQ3 所提模型在多大程度上统一了谱图卷积与空间图卷积框架？
• RQ4 在真实图扰动（如缺失节点或边排列）下，理论稳定性保证是否依然成立？
• RQ5 在涉及不规则、粗粒度非欧几里得数据（如面部和骨骼关键点）的任务中，L3Net相较于SOTA图神经网络表现如何？

主要发现

• 在$7\times7$ MNIST数据集上加入缺失值噪声时，L3Net（正则化参数reg=0.5）在PSNR为15.33时达到82.84%准确率，优于所有基线方法。
• 在$14\times14$ MNIST上，L3Net（基阶数1;1;2;3）达到97.51%准确率，与最佳ChebNet（$L=7$）的97.74%准确率相当。
• 在$28\times28$ MNIST上，L3Net（基阶数1;1;2;3）达到97.51%准确率，超过GCN和$ L=7 $的ChebNet。
• 在$7\times7$ MNIST加入高斯噪声时，L3Net（reg=0.5）在PSNR为18.70时达到87.22%准确率，比次佳方法高出0.13%。
• 在模拟图排列噪声下，L3Net（正则化）在高噪声水平下仍保持76.48%准确率，表现出更优的鲁棒性。
• 在面部表情识别与基于骨架的动作识别任务中，L3Net在噪声关键点条件下持续优于GCN、ChebNet和GAT，性能提升显著。